View a markdown version of this page

TensorFlow - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

TensorFlow

TensorFlow 是一个用于机器智能和深度学习应用程序的开源符号数学库。欲了解更多信息,请TensorFlow 访问网站。 TensorFlow 在亚马逊 EMR 发行版 5.17.0 及更高版本中可用。

下表列出了最新版本的亚马逊 EMR 7.x 系列中 TensorFlow 包含的版本以及亚马逊 EMR 安装的组件。 TensorFlow

有关此版本 TensorFlow 中随附的组件版本,请参阅 7.14.0 版组件版本。

TensorFlow emr-7.14.0 的版本信息
Amazon EMR 发行版标签 TensorFlow 版本 安装时附带的组件 TensorFlow

emr-7.14.0

TensorFlow 2.19.0

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-hdfs-zkfc, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

下表列出了最新版本的亚马逊 EMR 6.x 系列中 TensorFlow 包含的版本以及亚马逊 EMR 安装的组件。 TensorFlow

有关此版本 TensorFlow 中随附的组件版本,请参阅版本 6.15.0 组件版本。

TensorFlow emr-6.15.0 的版本信息
Amazon EMR 发行版标签 TensorFlow 版本 安装时附带的组件 TensorFlow

emr-6.15.0

TensorFlow 2.11.0

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

下表列出了最新版本的亚马逊 EMR 5.x 系列中 TensorFlow 包含的版本以及亚马逊 EMR 安装的组件。 TensorFlow

有关此版本 TensorFlow 中随附的组件版本,请参阅版本 5.36.2 组件版本。

TensorFlow emr-5.36.2 的版本信息
Amazon EMR 发行版标签 TensorFlow 版本 安装时附带的组件 TensorFlow

emr-5.36.2

TensorFlow 2.4.1

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

TensorFlow 按 Amazon EC2 实例类型构建

Amazon EMR 根据您为集群选择的实例类型使用不同的 TensorFlow 库版本。亚马逊 EMR 还支持 TensorFlow 具有 aarch64 实例类型(Graviton 实例)及以上的集群。 EMR-7.5.0

下表按实例类型列出了以下版本的构建 EMR-7.10.0:

EC2 实例类型 TensorFlow 建造

P2、P4D、P5、G4DN、G5、G6 和 GR6

具有 CUDA 12.5、cuDNN 9.3.0.75 的 Tensorflow 2.18.0

P3、P3DN、G3 和 G3S

具有 CUDA 12.5、cuDNN 9.3.0.75、NCCL 2.22.3 的 Tensorflow 2.18.0

Nvidia NCCL 仅适用于版本为 2.22.3 的 P3、P3DN、G3 和 G3s 实例。最终用户许可协议(EULA):在 Amazon EMR 上使用 Nvidia 组件,即表示您同意产品 EULA 中列出的条款和条件。

Graviton 实例

Tensorflow 2.18.0

所有其他地址

Tensorflow CPU 2.18.0

安全性

除了遵循 TensorFlow 安全使用中的指导外,我们还建议您在私有子网中启动集群,以帮助您限制对可信来源的访问。有关更多信息,请参阅《Amazon EMR 管理指南》中的 Amazon VPC 选项。

使用 TensorBoard

TensorBoard 是一套用于 TensorFlow 程序的可视化工具。有关更多信息,请参阅 TensorBoard:Tensorflow 网站上的可视化学习。

要 TensorBoard 与 Amazon EMR 一起使用,必须在集群主节点 TensorBoard 上启动。

在 Amazon EMR 上将 Tensorboard 与 Tensorflow 结合使用
  1. 使用 SSH 连接到集群的主节点。有关更多信息,请参阅《Amazon EMR 管理指南》中的使用 SSH 连接到主节点。

  2. 键入以下命令,在主节点上启动 TensorFboard。将 /my/log/directory 替换为您使用摘要写入器生成和存储摘要数据的主节点上的目录。

    Amazon EMR 5.19.0 and later
    python3 -m tensorboard.main --logdir=/home/hadoop/tensor --bind_all
    Amazon EMR 5.18.1 and earlier
    python3 -m tensorboard.main --logdir=/my/log/dir

    默认情况下,主节点 TensorBoard 使用端口 6006 和主节点公有 DNS 名称托管。启动后 TensorBoard,命令行输出会显示可用于连接的 URL TensorBoard,如以下示例所示:

    TensorBoard 2.18.0 at http://master-public-dns-name:6006 (Press CTRL+C to quit)
  3. 设置来自受信任客户端对主节点上 Web 界面的访问权限。有关更多信息,请参阅《Amazon EMR 管理指南》中的查看 Amazon EMR 集群上托管的 Web 界面。

  4. TensorBoard 在... http://master-public-dns-name:6006 打开