Amazon EMR
管理指南
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 Amazon AWS 入门

查看应用程序历史记录

使用 Amazon EMR 版本 5.8.0 或更高版本,您可在控制台中使用集群详细信息页面的 Application history 选项卡来查看 YARN 应用程序详细信息。通过使用 Amazon EMR 应用程序历史记录,您可以更轻松地对活动的作业和作业历史记录进行故障排除和分析。您可快速查看应用程序指标和访问相关日志文件,而不是设置并连接到主节点来查看开源故障排除 UI 或筛选日志文件。

运行 YARN 应用程序的所有集群将自动启用应用程序历史记录。无需专门设置。在应用程序完成后,Amazon EMR 会将历史信息保留长达 7 天。详细的应用程序历史记录只能用于 Spark。Amazon EMR 版本 5.8.0 中有一些其他的次要限制。有关更多信息,请参阅 Amazon EMR 版本指南 中的版本 5.8.0 的已知问题

示例:查看 Spark 应用程序的作业详细信息

以下序列演示从 Spark 应用程序深入到作业详细信息以使用集群详细信息页面 (要查看集群详细信息,请从 Clusters 列表中,选择集群的 Name) 上的 Application history 来评估阶段、任务和执行程序。

Application history 选项卡上,展开两个行以显示两个不同的 Spark 应用程序的诊断摘要,然后选择 Application ID 以查看更多应用程序详细信息:

YARN application 详细信息的 Jobs 选项卡上,选择 Job 0Description 以查看 Job 0 详细信息:

Job 0 详细信息页面上,展开有关各个作业阶段的信息,然后选择“Stage 1”的 Description 以查看 Stage 1 详细信息:

Stage 1 详细信息页面上,可看到阶段任务和执行程序的关键指标,并可使用链接查看任务和执行程序日志: