对 Amazon EMR 中的工作负载进行故障排除和监 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

对 Amazon EMR 中的工作负载进行故障排除和监

下面概括了有关如何设置 Spark UI 访问权限的 SSH 隧道的更多信息。

为 Spark UI 访问设置 SSH 隧道

如果要设置 SSH 隧道以访问 Spark UI,请按照以下步骤操作。除非按照 Spark UI 的 SSH 隧道步骤执行,否则不会启用 6b 中显示的 Spark UI 和驱动程序日志下的链接。

有关如何查看 Amazon EMR 集群上托管的 Web 界面的信息,请参阅查看亚马逊 EMR 集群上的 Web 界面.

处理火花数据

有关如何在 SageMaker Studio 笔记本中使用 Spark 处理数据的详细信息,请参阅此博客在 SageMaker 工作室笔记本电脑中使用 Spark 执行交互式数据处理.

自带形象

如果你想带你自己的映像,你需要安装以下依赖关系到你的内核。运行以下命令pip命令以及库名称:

  1. pip install sparkmagic.

    pip install sagemaker-studio-sparkmagic-lib.

    pip install sagemaker-studio-analytics-extension.

如果您想连接到受 Kerberos 保护的亚马逊 EMR,那么您还需要安装 kinit 客户端。根据您的操作系统,安装 kinit 客户端的命令会有所不同。以下是基于 Ubuntu/Debian 的映像的命令:apt-get install -y -qq krb5-user.