Amazon EMR
Amazon EMR 版本指南
AWS 服务或AWS文档中描述的功能,可能因地区/位置而异。请点击 Amazon AWS 入门,可查看中国地区的具体差异

访问 Spark Web UI

您可以查看 Spark Web UI,具体做法是:按照步骤在 Amazon EMR 管理指南 中一个名为连接到集群的部分中创建 SSH 隧道或创建代理,然后导航到集群的 YARN ResourceManager。在 Tracking UI (跟踪 UI) 下选择适合您的应用程序的链接。如果您的应用程序正在运行,您将看到 ApplicationMaster。这会将您带到 Spark 应用程序驱动程序的 Web UI,在端口 4040 上,无论驱动程序位于何处都是如此。如果您在 YARN 客户端模式下运行,则驱动程序可能会位于集群的主节点上。如果您在 YARN 集群模式下运行应用程序,则驱动程序会位于集群上该应用程序的 ApplicationMaster 中。如果您的应用程序已完成,您将看到 History,它会将您带到 Spark HistoryServer UI 中 EMR 集群的主节点,端口号为 18080。这适用于已经完成的应用程序。您还可以直接导航到 Spark HistoryServer UI,网址为 http://master-public-dns-name:18080/。