TensorFlow - Amazon EMR
使用的 TensorFlow 版本因 Amazon EC2 实例类型而异安全性使用 TensorBoard
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

TensorFlow

TensorFlow 是一种开源符号数学库，用于机器智能和深度学习应用程序。有关更多信息，请参阅 TensorFlow 网站。TensorFlow 在 Amazon EMR 发行版 5.17.0 及更高版本中提供。

下表列出了 Amazon EMR 7.x 系列的最新发行版附带的 TensorFlow 版本，以及 Amazon EMR 随 TensorFlow 一起安装的组件。

有关此发行版中随 TensorFlow 安装的组件版本，请参阅发行版 7.10.0 组件版本。

emr-7.10.0 的 TensorFlow 版本信息
Amazon EMR 发行版标签 TensorFlow 版本 随 TensorFlow 安装的组件

emr-7.10.0

TensorFlow 2.18.0

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

下表列出了 Amazon EMR 6.x 系列的最新发行版附带的 TensorFlow 版本，以及 Amazon EMR 随 TensorFlow 一起安装的组件。

有关此发行版中随 TensorFlow 安装的组件版本，请参阅发行版 6.15.0 组件版本。

emr-6.15.0 的 TensorFlow 版本信息
Amazon EMR 发行版标签 TensorFlow 版本 随 TensorFlow 安装的组件

emr-6.15.0

TensorFlow 2.11.0

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

下表列出了 Amazon EMR 5.x 系列的最新发行版附带的 TensorFlow 版本，以及 Amazon EMR 随 TensorFlow 一起安装的组件。

有关此发行版中随 TensorFlow 安装的组件版本，请参阅发行版 5.36.2 组件版本。

emr-5.36.2 的 TensorFlow 版本信息
Amazon EMR 发行版标签 TensorFlow 版本 随 TensorFlow 安装的组件

emr-5.36.2

TensorFlow 2.4.1

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

使用的 TensorFlow 版本因 Amazon EC2 实例类型而异

Amazon EMR 使用的 TensorFlow 库版本因您为集群选择的实例类型而异。自 EMR-7.5.0 及更高版本起，Amazon EMR 对于具有 aarch64 实例类型（Graviton 实例）的集群还支持 TensorFlow。

下表按实例类型列出了 EMR-7.10.0 的版本：

EC2 实例类型 TensorFlow 版本

P2、P4D、P5、G4DN、G5、G6 和 GR6

具有 CUDA 12.5、cuDNN 9.3.0.75 的 Tensorflow 2.18.0

P3、P3DN、G3 和 G3S

具有 CUDA 12.5、cuDNN 9.3.0.75、NCCL 2.22.3 的 Tensorflow 2.18.0

Nvidia NCCL 仅适用于版本为 2.22.3 的 P3、P3DN、G3 和 G3s 实例。最终用户许可协议（EULA）：在 Amazon EMR 上使用 Nvidia 组件，即表示您同意产品 EULA 中列出的条款和条件。

Graviton 实例

Tensorflow 2.18.0

所有其他地址

Tensorflow CPU 2.18.0

安全性

除了遵循安全使用 TensorFlow 指南外，还建议您在私有子网中启动集群，以帮助您限制对受信任源的访问。有关更多信息，请参阅《Amazon EMR 管理指南》中的 Amazon VPC 选项。

使用 TensorBoard

TensorBoard 是一套用于 TensorFlow 程序的可视化工具。有关更多信息，请参阅 Tensorflow 网站上的 Tensorflow：可视化学习。

要将 TensorBoard 与 Amazon EMR 结合使用，您必须在集群主节点上启动 TensorBoard。

在 Amazon EMR 上将 Tensorboard 与 Tensorflow 结合使用

  1. 使用 SSH 连接到集群的主节点。有关更多信息，请参阅《Amazon EMR 管理指南》中的使用 SSH 连接到主节点。

  2. 键入以下命令，在主节点上启动 TensorFboard。将 /my/log/directory 替换为您使用摘要写入器生成和存储摘要数据的主节点上的目录。

    Amazon EMR 5.19.0 and later
    python3 -m tensorboard.main --logdir=/home/hadoop/tensor --bind_all
    Amazon EMR 5.18.1 and earlier
    python3 -m tensorboard.main --logdir=/my/log/dir

    默认情况下，主节点使用端口 6006 和主公共 DNS 名称托管 TensorBoard。启动 TensorBoard 后，命令行输出将显示可用于连接到 TensorBoard 的 URL，如以下示例所示：

    TensorBoard 2.18.0 at http://master-public-dns-name:6006 (Press CTRL+C to quit)

  3. 设置来自受信任客户端对主节点上 Web 界面的访问权限。有关更多信息，请参阅《Amazon EMR 管理指南》中的查看 Amazon EMR 集群上托管的 Web 界面。

  4. 打开 TensorBoard（http://master-public-dns-name:6006）。