访问 Spark Web UI

您可以按照以下步骤查看 Spark 网络用户界面：创建 SSH 隧道或在 Amazon EMR 管理指南中名为 “连接集群” 的部分中创建代理，然后导航到您的集群的 YARN ResourceManager 。在 Tracking UI (跟踪 UI) 下选择适合您的应用程序的链接。如果你的应用程序正在运行，你就会明白ApplicationMaster。这会将您带到主应用程序的 Web UI，在端口 20888 上，无论驱动程序位于何处都是如此。如果您在 YARN 客户端模式下运行，则驱动程序可能会位于集群的主节点上。如果您在 YARN 集群模式下运行应用程序，则驱动程序位于集群上应用程序的中。 ApplicationMaster 如果您的应用程序已完成，您将看到历史记录，这将带您进入位于 EMR 集群主节点的 18080 的 Spark HistoryServer UI 端口号。这适用于已经完成的应用程序。你也可以直接通过 http: //:18080/ master-public-dns-name 导航到 Spark HistoryServer 用户界面。

在 Amazon EMR 发行版 5.25.0 或更高版本中，可以从控制台访问 Spark 历史记录服务器 UI，而无需通过 SSH 连接设置 Web 代理。有关更多信息，请参阅查看持久性应用程序用户界面。