TensorFlow 2 with Horovod

本教程介绍如何激活 TensorFlow 2 Horovod 在Amazon Deep Learning AMI(DLAMI) 和 Conda 在一起。Horovod 已为 Conda 环境预安装 TensorFlow 2. 推荐使用 Python3 环境。

注意

仅支持 P3.*、P2.* 和 G3.* 实例类型。

激活 TensorFlow 2 和 Conda 一起在 DLAMI 上测试 Horovod

使用 Conda 打开 DLAMI 的Amazon Elastic Compute Cloud (Amazon EC2) 实例。有关 DLAMI 入门帮助，请参阅如何开始使用 DLAMI.
- (推荐) 对于 TensorFlow 2 使用 CUDA 10 的 Python 3 上的 2 with Horovod，请运行此命令：
```
$ source activate tensorflow2_p36
         
```
- 适用于 TensorFlow 2 使用 CUDA 10 的 Python 2 上的 Horovod，请运行此命令：
```
$ source activate tensorflow2_p27
         
```
启动 iPython 终端：
```
(tensorflow2_p36)$ ipython
```

测试导入 TensorFlow 2 with Horovod 以验证其是否运行正常：



import horovod.tensorflow as hvd
hvd.init()

如果没有收到任何输出，表示 Horovod 工作正常。以下内容可能显示在您的屏幕上（您可能会忽略任何警告消息）。



--------------------------------------------------------------------------
[[55425,1],0]: A high-performance Open MPI point-to-point messaging module
was unable to find any relevant network interfaces:

Module: OpenFabrics (openib)
  Host: ip-172-31-72-4

Another transport will be used instead, although this may result in
lower performance.
--------------------------------------------------------------------------

TensorFlow 2 with Horovod

更多信息