访问 Spark UI
Apache Spark UI 呈现可视化界面,其中包含有关正在运行和已完成的 Spark 作业的详细信息。您可以使用原生 Apache Spark UI 在 Athena Spark 中监控和调试交互式会话,在此可以深入研究特定于作业的指标以及关于每个 Spark 作业的事件时间表、阶段、任务和执行者的信息。
访问 Spark UI
启动 Athena Spark 交互式会话后,您可以通过 Amazon SageMaker AI 融通式合作开发工作室笔记本查看用于运行会话的实时 Spark UI,也可以使用 GetResourceDashboard API 请求安全 URL。对于已完成的会话,您可以通过 Amazon SageMaker AI 融通式合作开发工作室笔记本、Amazon Athena 控制台或使用相同的 API 查看 Spark History Server。
aws athena get-resource-dashboard \ --region "REGION" \ --session-id "SESSION_ID"
访问 Spark UI 所需的权限
在访问 Spark UI 之前,请在用户或角色的权限策略中包含以下权限。
{ "Action": "athena:GetResourceDashboard", "Resource": "WORKGROUP", "Effect": "Allow" }