访问 Spark Web UI - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

访问 Spark Web UI

您可以查看 Spark Web UI,具体做法是:按照操作步骤在 Amazon EMR 管理指南中一个名为 Connect to the cluster (连接到集群) 的部分中创建 SSH 隧道或创建代理,然后导航到集群的 YARN ResourceManager。在 Tracking UI (跟踪 UI) 下选择适合您的应用程序的链接。如果您的应用程序正在运行,您将看到 ApplicationMaster。这会将您带到主应用程序的 Web UI,在端口 20888 上,无论驱动程序位于何处都是如此。如果您在 YARN 客户端模式下运行,则驱动程序可能会位于集群的主节点上。如果您在 YARN 集群模式下运行应用程序,则驱动程序会位于集群上该应用程序的 ApplicationMaster 中。如果您的应用程序已完成,您将看到 History(历史记录),它会将您带到 Spark HistoryServer UI 中 EMR 集群的主节点,端口号为 18080。这适用于已经完成的应用程序。您还可以直接导航到 Spark HistoryServer UI,网址为 http://master-public-dns-name:18080/。

在 Amazon EMR 发行版 5.25.0 或更高版本中,可以从控制台访问 Spark 历史记录服务器 UI,而无需通过 SSH 连接设置 Web 代理。有关更多信息,请参阅查看持久性应用程序用户界面