TensorFlow 2 with Horovod - 深度学习 AMI
更多信息
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅中国的 AWS 服务入门。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

TensorFlow 2 with Horovod

本教程介绍如何在 AWS 深度学习 AMI (DLAMI) 上利用 Conda 激活 TensorFlow 2 Horovod。Horovod 已为 TensorFlow 2 预安装在 Conda 环境中。推荐使用 Python3 环境。

注意

仅支持 P3.*、P2.* 和 G3.* 实例类型。

在 DLAMI 上利用 Conda 激活 TensorFlow 2 并测试 Horovod

  1. 使用 Conda 打开一个具有 DLAMI 的 Amazon Elastic Compute Cloud (Amazon EC2) 实例。有关 DLAMI 入门帮助，请参阅如何开始使用 DLAMI。

    • （推荐）对于使用 CUDA 10 的 Python 3 上的 TensorFlow 2 with Horovod，请运行此命令：

      $ source activate tensorflow2_p36

    • 对于使用 CUDA 10 的 Python 2 上的 TensorFlow 2 with Horovod，请运行此命令：

      $ source activate tensorflow2_p27

  2. 启动 iPython 终端：

    (tensorflow2_p36)$ ipython

  3. 测试导入 TensorFlow 2 with Horovod 以验证其是否运行正常：

    
import horovod.tensorflow as hvd
hvd.init()

    如果没有收到任何输出，表示 Horovod 工作正常。以下内容可能显示在您的屏幕上（您可能会忽略任何警告消息）。

    
--------------------------------------------------------------------------
[[55425,1],0]: A high-performance Open MPI point-to-point messaging module
was unable to find any relevant network interfaces:

Module: OpenFabrics (openib)
  Host: ip-172-31-72-4

Another transport will be used instead, although this may result in
lower performance.
--------------------------------------------------------------------------

更多信息

  • 有关教程，请参阅examples/horovod文件夹中的 DLAMI 主目录中。

  • 有关更多教程和示例，请参阅 Horovod GitHub 项目。