TensorFlow - Amazon EMR
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

TensorFlow

TensorFlow 是一种开源符号数学库,用于机器智能和深度学习应用程序。有关更多信息,请参见 TensorFlow 网站。 TensorFlow 可用于 Amazon EMR 版本5.17.0及更高版本。

下表列出了 Amazon EMR 6.x 系列的最新发布版本附带的 TensorFlow 的版本,以及 Amazon EMR 随 TensorFlow 一起安装的组件。

有关随此发布版本中的 TensorFlow 一起安装的组件的版本,请参阅发布版本 6.1.0 组件版本

TensorFlow emr-6.1.0的版本信息
Amazon EMR 发布版本标签 TensorFlow 版本 随 TensorFlow 安装的组件

emr-6.1.0

TensorFlow2.1.0

emrfs、emr-goodies、hadoop-client、hadoop-hdfs-datanode、hadoop-hdfs-library、hadoop-hdfs-namenode、hadoop-httpfs-server、hadoop-kms-server、hadoop-yarn-nodemanager、hadoop-yarn-resourcemanager、hadoop-yarn-timeline-server、tensorflow

下表列出了 Amazon EMR 5.x 系列的最新发布版本附带的 TensorFlow 的版本,以及 Amazon EMR 随 TensorFlow 一起安装的组件。

有关随此发布版本中的 TensorFlow 一起安装的组件的版本,请参阅发布版本 5.31.0 组件版本

TensorFlow emr-5.31.0的版本信息
Amazon EMR 发布版本标签 TensorFlow 版本 随 TensorFlow 安装的组件

另出动-5.31.0

TensorFlow 2.1.0日期

emrfs、emr-goodies、hadoop-client、hadoop-hdfs-datanode、hadoop-hdfs-library、hadoop-hdfs-namenode、hadoop-httpfs-server、hadoop-kms-server、hadoop-yarn-nodemanager、hadoop-yarn-resourcemanager、hadoop-yarn-timeline-server、tensorflow

TensorFlow 构建依据 Amazon EC2 实例类型

Amazon EMR 使用不同构建的 TensorFlow 库,具体取决于您为群集选择的实例类型。下表列出了按实例类型构建的。

EC2实例类型 TensorFlow 构建

M5和C5

采用IntelMKL优化的Tensorflow1.9.0

P2

含CUDA9.2的张量1.9.0, cuDNN 7.1/7.1间

P3

含CUDA9.2的张量1.9.0, cuDNN 7.1,NCCL2.2.13(NCCL2.2.13)

恩维亚NCCL 仅在P3实例上可用。最终用户许可协议(EULA): 通过在上使用Nvidia组件 Amazon EMR,您同意 产品EULA.

所有其他地址

张量1.9.0

Security

除了遵循 使用 TensorFlow 安全 我们建议您在专用子网中启动群集,以帮助您限制对可信来源的访问。有关更多信息,请参阅 Amazon VPC 选项Amazon EMR 管理指南.

使用 TensorBoard

TensorBoard 是一组可视化工具,用于 TensorFlow 程序。有关更多信息,请参阅 TensorBoard: 可视化学习 Tensorflow网站上的。

使用 TensorBoard 配 Amazon EMR,您必须开始 TensorBoard 在群集管理节点上。

在 Amazon EMR 上将 Tensorboard 与 Tensorflow 结合使用

  1. 使用 SSH 连接到集群的主节点。有关更多信息,请参阅 https://docs.amazonaws.cn/emr/latest/ManagementGuide/emr-connect-master-node-ssh.html 中的Amazon EMR 管理指南 使用 SSH 连接到主节点

  2. 键入以下命令以在管理节点上启动Tensorboard。更换 /my/log/directory 在管理节点上有一个目录,您在其中使用摘要写入器生成和存储摘要数据。

    python3 -m tensorboard.main --logdir=/my/log/dir

    默认情况下,管理节点主机 TensorBoard 使用端口6006和管理节点公共DNS名称。开始之后 TensorBoard,命令行输出显示可用于连接的URL TensorBoard,如下例:

    TensorBoard 1.9.0 at http://master-public-dns-name:6006 (Press CTRL+C to quit)
  3. 从受信任的客户端设置对管理节点上的Web界面的访问。有关更多信息,请参阅 查看托管于的Web界面 Amazon EMR 群集Amazon EMR 管理指南.

  4. 打开 TensorBoard 在 http://master-public-dns-name:6006.