访问 Spark UI - Amazon Athena
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

访问 Spark UI

Apache Spark UI 呈现可视化界面,其中包含有关正在运行和已完成的 Spark 作业的详细信息。您可以使用原生 Apache Spark UI 在 Athena Spark 中监控和调试交互式会话,在此可以深入研究特定于作业的指标以及关于每个 Spark 作业的事件时间表、阶段、任务和执行者的信息。

访问 Spark UI

启动 Athena Spark 交互式会话后,您可以通过 Amazon SageMaker AI 融通式合作开发工作室笔记本查看用于运行会话的实时 Spark UI,也可以使用 GetResourceDashboard API 请求安全 URL。对于已完成的会话,您可以通过 Amazon SageMaker AI 融通式合作开发工作室笔记本、Amazon Athena 控制台或使用相同的 API 查看 Spark History Server。

aws athena get-resource-dashboard \ --region "REGION" \ --session-id "SESSION_ID"

访问 Spark UI 所需的权限

在访问 Spark UI 之前,请在用户或角色的权限策略中包含以下权限。

{ "Action": "athena:GetResourceDashboard", "Resource": "WORKGROUP", "Effect": "Allow" }