本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
TensorFlow
TensorFlow 是一个用于机器智能和深度学习应用程序的开源符号数学库。欲了解更多信息,请TensorFlow 访问网站
下表列出了最新版本的 Amazon EMR 7.x 系列中 TensorFlow 包含的版本以及与之一起安装的 Amazon EMR 的组件。 TensorFlow
有关此版本 TensorFlow 中安装的组件的版本,请参阅 7.1.0 版组件版本。
TensorFlow emr-7.1.0 的版本信息 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Amazon EMR 发行版标签 | TensorFlow 版本 | 安装在一起的组件 TensorFlow | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
emr-7.1.0 |
TensorFlow 2.11.0 |
emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow |
下表列出了最新版本的 Amazon EMR 6.x 系列中 TensorFlow 包含的版本以及与之一起安装的 Amazon EMR 的组件。 TensorFlow
有关此版本 TensorFlow 中安装的组件的版本,请参阅 6.15.0 版组件版本。
TensorFlow emr-6.15.0 的版本信息 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Amazon EMR 发行版标签 | TensorFlow 版本 | 安装在一起的组件 TensorFlow | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
emr-6.15.0 |
TensorFlow 2.11.0 |
emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow |
下表列出了最新版本的 Amazon EMR 5.x 系列中 TensorFlow 包含的版本,以及 Amazon EMR 随之安装的组件。 TensorFlow
有关此版本 TensorFlow 中安装的组件的版本,请参阅 5.36.2 版组件版本。
TensorFlow emr-5.36.2 的版本信息 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Amazon EMR 发行版标签 | TensorFlow 版本 | 安装在一起的组件 TensorFlow | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
emr-5.36.2 |
TensorFlow 2.4.1 |
emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow |
TensorFlow 按亚马逊 EC2 实例类型构建
根据您为集群选择的实例类型,Amazon EMR 使用不同的 TensorFlow 库版本。下表按实例类型列出版本。
EC2 实例类型 | TensorFlow 建造 |
---|---|
M5 和 C5 |
利用英特尔 MKL 进行优化的 TensorFlow 1.9.0 |
P2 |
采用 CUDA 9.2、cuDNN 7.1 的 Tensorflow 1.9.0 |
P3 |
采用 CUDA 9.2、cuDNN 7.1、NCCL 2.2.13 的 Tensorflow 1.9.0 NVIDIA NCCL |
所有其他地址 |
Tensorflow 1.9.0 |
安全性
除了遵循 TensorFlow 安全使用
使用 TensorBoard
TensorBoard 是一套用于 TensorFlow 程序的可视化工具。有关更多信息,请参阅 TensorBoard:Tensorflow 网站上的可视化学习
要 TensorBoard 与 Amazon EMR 一起使用,您必须从集群主节点 TensorBoard 上启动。
在 Amazon EMR 上将 Tensorboard 与 Tensorflow 结合使用
使用 SSH 连接到集群的主节点。有关更多信息,请参阅《Amazon EMR 管理指南》中的使用 SSH 连接到主节点。
键入以下命令,在主节点上启动 TensorFboard。将
替换为您使用摘要写入器生成和存储摘要数据的主节点上的目录。/my/log/directory
默认情况下,主节点主机 TensorBoard 使用端口 6006 和主节点公有 DNS 名称。启动后 TensorBoard,命令行输出会显示可用于连接的 URL TensorBoard,如以下示例所示:
TensorBoard 1.9.0 at http://
master-public-dns-name
:6006 (Press CTRL+C to quit)设置来自受信任客户端对主节点上 Web 界面的访问权限。有关更多信息,请参阅《Amazon EMR 管理指南》中的查看 Amazon EMR 集群上托管的 Web 界面。
开 TensorBoard 业于
http://
。master-public-dns-name
:6006