Amazon EMR
管理指南
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

查看应用程序历史记录

使用 Amazon EMR 版本 5.8.0 或更高版本,您可在控制台中使用集群详细信息页面的 Application history (应用程序历史记录) 选项卡来查看 YARN 应用程序详细信息。通过使用 Amazon EMR 应用程序历史记录,您可以更轻松地对活动的作业和作业历史记录进行故障排除和分析。您可快速查看应用程序指标和访问相关日志文件,而不是设置并连接到主节点来查看开源故障排除 UI 或筛选日志文件。

运行 YARN 应用程序的所有集群将自动启用应用程序历史记录。无需专门设置。在应用程序完成后,Amazon EMR 会将历史信息保留长达 7 天。详细的应用程序历史记录只能用于 Spark。Amazon EMR 版本 5.8.0 中有一些其他的次要限制。有关更多信息,请参阅 Amazon EMR 版本指南中版本 5.8.0 的已知问题

示例:查看 Spark 应用程序的作业详细信息

以下序列演示从 Spark 应用程序深入到作业详细信息以使用集群详细信息页面(要查看集群详细信息,请从 Clusters (集群) 列表中,选择集群的 Name (名称))上的 Application history (应用程序历史记录) 来评估阶段、任务和执行程序。

Application history (应用程序历史记录) 选项卡上,展开两个行以显示两个不同的 Spark 应用程序的诊断摘要,然后选择应用程序 ID 以查看更多应用程序详细信息:

YARN application (YARN 应用程序) 详细信息的作业选项卡上,选择 作业 0Description (描述) 以查看“作业 0”详细信息:

作业 0 详细信息页面上,展开有关各个作业阶段的信息,然后选择第 1 阶段的 Description (描述) 以查看第 1 阶段详细信息:

第 1 阶段详细信息页面上,可看到阶段任务和执行程序的关键指标,并可使用链接查看任务和执行程序日志: