TensorFlow 2 with Horovod - 深度学习 AMI
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

如果我们为英文版本指南提供翻译,那么如果存在任何冲突,将以英文版本指南为准。在提供翻译时使用机器翻译。

TensorFlow 2 with Horovod

本教程介绍如何在 AWS Deep Learning AMI (DLAMI) with Conda 上激活 TensorFlow 2 with Horovod。Horovod 已为 TensorFlow 2 预安装在 Conda 环境中。推荐使用 Python3 环境。

注意

仅支持 P3.*、P2.* 和 G3.* 实例类型。

在 DLAMI with Conda 上激活 TensorFlow 2 并测试 Horovod

  1. 打开 DLAMI with Conda 的 Amazon Elastic Compute Cloud (Amazon EC2) 实例。有关 DLAMI 入门帮助,请参阅如何开始使用 DLAMI

    • (推荐)对于使用 CUDA 10 的 Python 3 上的 TensorFlow 2 with Horovod,请运行此命令:

      $ source activate tensorflow2_p36
    • 对于使用 CUDA 10 的 Python 2 上的 TensorFlow 2 with Horovod,请运行此命令:

      $ source activate tensorflow2_p27
  2. 启动 iPython 终端:

    (tensorflow2_p36)$ ipython
  3. 测试导入 TensorFlow 2 with Horovod 以验证其是否运行正常:

    import horovod.tensorflow as hvd hvd.init()

    如果没有收到任何输出,表示 Horovod 工作正常。以下内容可能显示在您的屏幕上(您可能会忽略任何警告消息)。

    -------------------------------------------------------------------------- [[55425,1],0]: A high-performance Open MPI point-to-point messaging module was unable to find any relevant network interfaces: Module: OpenFabrics (openib) Host: ip-172-31-72-4 Another transport will be used instead, although this may result in lower performance. --------------------------------------------------------------------------

更多信息

  • 有关教程,请参阅 DLAMI 的主目录中的 examples/horovod 文件夹。

  • 有关更多教程和示例,请参阅 Horovod GitHub 项目