从 Studio 问 Spark UI - Amazon SageMaker
为 Spark UI 访问设置 SSH 隧道预签名 URL
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

从 Studio 问 Spark UI

以下各部分提供了从 SageMaker Studio 笔记本访问 Spark UI 的说明。使用 Spark UI，您可以从 Studio 笔记本监控和调试提交到 Amazon EMR 上运行的 Spark 作业。访问 Spark UI 可以通过 SSH 隧道和预签名 URL 这两种方法。

为 Spark UI 访问设置 SSH 隧道

要设置 SSH 隧道以访问 Spark UI，请按照此部分中的两个选项之一进行操作。

设置 SSH 隧道的选项：

有关查看托管在 Amazon EMR 上的 Web 界面的更多信息，请参阅查看 Amazon EMR 集群上托管的 Web 界面。您也可以访问 Amazon EMR 控制台以访问 Spark UI。

注意

即使预签名 URL 对您不可用，您也可以设置 SSH 隧道。

预签名 URL

要创建可以从 SageMaker Studio 笔记本访问 Amazon EMR 上 Spark UI 的一键式 URL，您必须启用以下 IAM 权限。选择适用于您的选项：

  • 对于与 SageMaker Studio 笔记本处于同一个账户中的 Amazon EMR 集群：向 SageMaker Studio IAM 执行角色添加以下权限。

  • 对于位于不同账户（不是 SageMaker Studio 笔记本所在的账户）中的 Amazon EMR 集群：将以下权限添加到您为 从 SageMaker Studio 发现 Amazon EMR 集群 创建的跨账户角色中。

注意

您可以从以下区域中的控制台访问预签名 URL：

  • 美国东部（弗吉尼亚州北部）区域

  • 美国西部（北加利福尼亚）区域

  • 加拿大（中部）区域

  • 欧洲地区（法兰克福）区域

  • 欧洲地区（斯德哥尔摩）区域

  • 欧洲地区（爱尔兰）区域

  • 欧洲地区（伦敦）区域

  • 欧洲地区（巴黎）区域

  • 亚太地区（东京）区域

  • 亚太地区（首尔）区域

  • 亚太地区（悉尼）区域

  • 亚太地区（孟买）区域

  • 亚太地区（新加坡）区域

  • 南美洲（圣保罗）

以下策略向您的执行角色提供对预签名 URL 的访问权限。

{
            "Sid": "AllowPresignedUrl",
            "Effect": "Allow",
            "Action": [
                "elasticmapreduce:DescribeCluster",
                "elasticmapreduce:ListInstanceGroups",
                "elasticmapreduce:CreatePersistentAppUI",
                "elasticmapreduce:DescribePersistentAppUI",
                "elasticmapreduce:GetPersistentAppUIPresignedURL",
                "elasticmapreduce:GetOnClusterAppUIPresignedURL"
            ],
            "Resource": [
                "arn:aws:elasticmapreduce:region:account-id:cluster/*"
            ]
}