使用 YARN 应用程序调试 EMR 步骤 IDs - Amazon EMR
YARN 应用程序 ID
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用 YARN 应用程序调试 EMR 步骤 IDs

调试启动基于 Yarn 的应用程序的步骤（例如 Spark 步骤）的一种有效方法是利用 Amazon EMR 控制台中提供的 Yarn 应用程序 ID 信息。

YARN 应用程序 ID

对于运行 Spark 或其他基于 Yarn 的作业的步骤，EMR 控制台会在步骤详细信息中显示最近执行的 YARN 应用程序 ID。如果一个步骤启动了多个 YARN 应用程序，则仅显示上次执行的应用程序 ID。

为什么要使用 Yarn 应用程序 IDs 进行调试？

  • 您可以直接将 EMR 步骤与 Yarn 应用程序相关联：准确识别哪个 Yarn 应用程序对应于有问题或有趣的步骤。

  • 你可以访问实时监控工具：使用应用程序 ID 打开 YARN L ResourceManager ive 用户界面，或者使用 Spark History Server 用户界面来检查正在运行或已完成的应用程序。

  • 您可以检索日志以进行详细的故障排除：使用应用程序 ID 查找存储在 S3 中且与该应用程序关联的容器日志，这些日志可帮助您更深入地研究故障或性能问题。

您可以通过多种方式使用这些信息：

  1. 导航到 EMR 集群的 “步骤” 选项卡。

  2. 点击要调试的步骤。

  3. 在步骤详细信息面板中找到 Yarn 应用程序 ID 部分。

  4. 复制提供的应用程序 ID。

  5. 使用 ID 可以：

    • 打开 YARN ResourceManager Live 用户界面。URI 如下所示：http: //: 8088/cluster/app/ resourcemanager-host application_id

    • 打开 Spark History Server 用户界面以查看应用程序执行细节。

    • 访问由应用程序 ID 标记的路径下的 S3 存储桶中的容器日志。

通过使用 Yarn 应用程序 ID，您可以简化调试过程，并将高级别 EMR 步骤失败与底层 Yarn 应用程序执行关联起来。