TensorFlow - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

TensorFlow

TensorFlow 是一种开源符号数学库,用于机器智能和深度学习应用程序。有关更多信息,请参阅 。TensorFlow 网站。TensorFlow 在版本 5.17.0 及更高版本中提供。

下表列出了 Amazon emr-6.x 系列的最新发布版本附带的 TensorFlow 版本,以及亚马逊 EMR 随 TensorFlow 一起安装的组件。

有关随 TensorFlow 一起安装的组件的版本,请参阅发行版 6.3.0 组件版本

emr-6.3.0 的 TensorFlow 版本信息
Amazon EMR 发布版标签 TensorFlow 版 利用 TensorFlow 进行安装的组件

emr-6.3.0

TensorFlow 2.4.1

emrfs、emr-goodies、hadoop-client、hadoop-hdfs-datanode、hadoop-hdfs-library、hadoop-hdfs-namenode、hadoop-httpfs-server、hadoop-kms-server、hadoop-yarn-nodemanager、hadoop-yarn-resourcemanager、hadoop-yarn-timeline-server、tensorflow

下表列出了 Amazon emr-5.x 系列的最新发布版本附带的 TensorFlow 版本,以及 Amazon emr-5.x 系列随 TensorFlow 一起安装的组件。

有关随 TensorFlow 一起安装的组件的版本,请参阅发行版 5.33.0 组件版本

emr-5.33.0 的 TensorFlow 版本信息
Amazon EMR 发布版标签 TensorFlow 版 利用 TensorFlow 进行安装的组件

emr-5.33.0

TensorFlow 2.4.1

emrfs、emr-goodies、hadoop-client、hadoop-hdfs-datanode、hadoop-hdfs-library、hadoop-hdfs-namenode、hadoop-httpfs-server、hadoop-kms-server、hadoop-yarn-nodemanager、hadoop-yarn-resourcemanager、hadoop-yarn-timeline-server、tensorflow

利用 Amazon EC2 实例类型进行 TensorFlow 构建

Amazon EMR 使用的 TensorFlow 库版本因您为集群选择的实例类型而异。下表列出了按实例类型分类的版本。

EC2 实例类型 TensorFlow 构建

M5 和 C5

利用 TensorFlow 1.9.0 进行英特尔 MKL 优化

P2

利用 TensorFlow 1.9.0、CcuDNN 7.1 进行 TensorFlow

P3

张量流 1.9.0、铜化学元素 7.1、NCCL 2.2.13

NVIDIA NCCL仅适用于 P3 实例。最终用户许可协议 (EULA):在亚马逊 EMR 上使用 Nvidia 组件,即表示您同意产品 EULA

所有其他地址

TensorFlow 1.9.0

Security

除了遵循安全使用 TensorFlow我们建议您在私有子网中启动群集,以帮助您限制对受信任源的访问。有关更多信息,请参阅 。Amazon VPC 选项中的Amazon EMR 管理指南

使用 TensorBoard

TensorBoard 是一套用于 TensorFlow 程序的可视化工具。有关更多信息,请参阅 。TensorBoard:Visusion 化学习在腾索流网站上。

要将 TensorBoard 与亚马逊 EMR 结合使用,您必须在集群主节点上启动 TensorBoard。

将张量板与亚马逊 EMR 上的张量流一起使用

  1. 使用 SSH 连接到集群的主节点。有关更多信息,请参阅 。使用 SSH Connect 主节点中的Amazon EMR 管理指南

  2. 键入以下命令,在主节点上启动 TensorBoard。Replace/my/log/directory,并在主节点上使用摘要编写器生成和存储摘要数据的目录。

    python3 -m tensorboard.main --logdir=/my/log/dir

    默认情况下,主节点使用端口 6006 和主公共 DNS 名称托管 TensorBoard。启动 TensorBoard 后,命令行输出将显示可用于连接到 TensorBoard 的 URL,如以下示例所示:

    TensorBoard 1.9.0 at http://master-public-dns-name:6006 (Press CTRL+C to quit)
  3. 设置受信任客户端对主节点上 Web 界面的访问权限。有关更多信息,请参阅 。查看亚马逊 EMR 集群上托管的 Web 界面中的Amazon EMR 管理指南

  4. 打开 TensorBoardhttp://master-public-dns-name:6006