Amazon EMR
Amazon EMR 版本指南
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

TensorFlow

TensorFlow 是一种开源符号数学库,用于机器智能和深度学习应用程序。有关更多信息,请参阅 TensorFlow 网站。TensorFlow 适用于 Amazon EMR 版本 5.17.0 及更高版本。

下表列出了最新版的 Amazon EMR 附带的 TensorFlow 的版本,以及 Amazon EMR 随 TensorFlow 一起安装的组件。

有关随此版本中的 TensorFlow 一起安装的组件的版本,请参阅发行版 5.20.0 组件版本

emr-5.20.0 的 TensorFlow 版本信息

Amazon EMR 发行版标签 TensorFlow 版本 随 TensorFlow 安装的组件

emr-5.20.0

TensorFlow 1.12.0

emrfs、emr-goodies、hadoop-client、hadoop-hdfs-datanode、hadoop-hdfs-library、hadoop-hdfs-namenode、hadoop-httpfs-server、hadoop-kms-server、hadoop-yarn-nodemanager、hadoop-yarn-resourcemanager、hadoop-yarn-timeline-server、tensorflow

使用的 TensorFlow 版本因 Amazon EC2 实例类型而异

Amazon EMR 使用的 TensorFlow 库版本因您为集群选择的实例类型而异。下表按照实例类型列出了不同版本。

EC2 实例类型 TensorFlow 版本

M5 和 C5

带有 Intel MKL 优化的 Tensorflow 1.9.0

P2

带有 CUDA 9.2 以及 cuDNN 7.1 的 Tensorflow 1.9.0

P3

带有 CUDA 9.2、cuDNN 7.1 以及 NCCL 2.2.13 的 Tensorflow 1.9.0

Nvidia NCCL 仅适用于 P3 实例。最终用户许可协议 (EULA):在 Amazon EMR 上使用 Nvidia 组件,即表示您同意产品 EULA 中列出的条款和条件。

所有其他地址

Tensorflow 1.9.0

安全性

除遵循安全使用 TensorFlow 中的指导外,我们还建议您在私有子网中启动集群,以帮助您限制对受信任源的访问。有关更多信息,请参阅 Amazon EMR 管理指南中的 Amazon VPC 选项

使用 TensorBoard

TensorBoard 是一套适用于 TensorFlow 程序的可视化工具。有关更多信息,请参阅 Tensorflow 网站上的 TensorBoard:可视化学习

要将 TensorBoard 与 Amazon EMR 结合使用,您必须在集群主节点上启动 TensorBoard。

在 Amazon EMR 上将 Tensorboard 与 Tensorflow 结合使用

  1. 使用 SSH 连接到集群的主节点。有关更多信息,请参阅 Amazon EMR 管理指南中的使用 SSH 连接到主节点

  2. 键入以下命令,以在主节点上启动 Tensorboard。将 /my/log/directory 替换为主节点上您从中使用摘要读取器生成并存储摘要数据的目录。

    python3 -m tensorboard.main --logdir=/my/log/dir

    默认情况下,主节点使用端口 6006 和主节点公有 DNS 名称托管 TensorBoard。启动 TensorBoard 后,命令行输出将显示可用于连接 TensorBoard 的 URL,如以下示例所示:

    TensorBoard 1.9.0 at http://master-public-dns-name:6006 (Press CTRL+C to quit)
  3. 设置从受信任客户端到主节点上 Web 界面的访问权限。有关更多信息,请参阅 Amazon EMR 管理指南中的 查看 Amazon EMR 集群上托管的 Web 界面

  4. 打开 TensorBoard,网址为:http://master-public-dns-name:6006