使用 YARN 应用程序调试 EMR 步骤 IDs - Amazon EMR
YARN 应用程序 ID
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用 YARN 应用程序调试 EMR 步骤 IDs

调试可启动基于 YARN 的应用程序的步骤（例如 Spark 步骤）的一种有效方法是利用 Amazon EMR 控制台中提供的 Yarn 应用程序 ID 信息。

YARN 应用程序 ID

对于运行 Spark 或其他基于 YARN 的作业的步骤，EMR 控制台会在步骤详细信息中显示最近执行的 YARN 应用程序 ID。如果一个步骤启动了多个 YARN 应用程序，则仅显示上次执行的应用程序 ID。

为什么要使用 Yarn 应用程序 IDs 进行调试？

  • 您可以将 EMR 步骤与 Yarn 应用程序直接关联：准确识别哪个 Yarn 应用程序对应于有问题的步骤或有趣的步骤。

  • 你可以访问实时监控工具：使用应用程序 ID 打开 YARN L ResourceManager ive 用户界面，或者使用 Spark History Server 用户界面来检查正在运行或已完成的应用程序。

  • 您可以检索日志以进行详细的故障排除：使用应用程序 ID 查找存储在 S3 中与该应用程序关联的容器日志，这些日志可帮助您深入了解故障或性能问题。

您可以通过多种方式使用此信息：

  1. 导航至 EMR 集群的步骤选项卡。

  2. 单击要调试的步骤。

  3. 在步骤详细信息面板中找到 Yarn 应用程序 ID 部分。

  4. 复制提供的应用程序 ID。

  5. 使用 ID 执行以下操作：

    • 打开 YARN ResourceManager Live 用户界面。URI 如下所示：http: //: 8088/cluster/app/ resourcemanager-host application_id

    • 打开 Spark History Server UI 以查看应用程序执行详细信息。

    • 访问您的 S3 存储桶中由应用程序 ID 标记的路径下的容器日志。

通过使用 Yarn 应用程序 ID，您可以简化调试过程，并将高级 EMR 步骤故障与底层 Yarn 应用程序执行关联。