Amazon EMR
管理指南
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 Amazon AWS 入门

查看 Amazon EMR 集群上托管的 Web 界面

安装在 Amazon EMR 集群上的 Hadoop 和其他应用程序会将用户界面发布为主节点上托管的网站。出于安全原因,在使用 EMR 托管的安全组时,这些网站只在主节点的本地 Web 服务器上可用,因此,您需要连接到主节点才能查看它们。有关更多信息,请参阅 使用 SSH 连接主节点。Hadoop 还将用户界面发布为核心和任务 (从属) 节点上托管的网站。这些网站也仅在节点上的本地 Web 服务器上提供。

警告

可以配置自定义安全组,以便对这些 Web 界面进行入站访问。请记住,您允许入站流量的任何端口都可能成为潜在的安全漏洞。请仔细审查自定义安全组,以确保最大限度减少漏洞。有关更多信息,请参阅 使用安全组控制网络流量

下表列出了您可以在核心和任务节点上查看的 Web 界面。这些 Hadoop 界面在所有集群上均可用。要访问以下界面,请将 URI 中的 slave-public-dns-name 替换为节点的公有 DNS 名称。有关检索核心或任务节点实例的公有 DNS 名称的更多信息,请参阅 Amazon EC2 User Guide for Linux Instances 中的使用 SSH 连接到 Linux/Unix 实例。除了检索核心或任务节点的公有 DNS 名称之外,您还必须编辑 ElasticMapReduce-slave 安全组以允许通过 TCP 端口 22 进行 SSH 访问。有关修改安全组规则的更多信息,请参阅 Amazon EC2 User Guide for Linux Instances 中的向安全组添加规则

接口的名称

URI

YARN ResourceManager http://master-public-dns-name:8088/
YARN NodeManager http://slave-public-dns-name:8042/
Hadoop HDFS NameNode http://master-public-dns-name:50070/
Hadoop HDFS DataNode http://slave-public-dns-name:50075/
Spark HistoryServer http://master-public-dns-name:18080/
Zeppelin http://master-public-dns-name:8890/
Hue http://master-public-dns-name:8888/
Ganglia http://master-public-dns-name/ganglia/
HBase UI http://master-public-dns-name:16010/

因为主节点上有几个特定于应用程序的界面在核心和任务节点上不可用,所以本文档中的说明特定于 Amazon EMR 主节点。可以采用与访问主节点上的 Web 界面相同的方法,来访问核心和任务节点上的 Web 界面。

可以通过多种方式访问主节点上的 Web 界面。最简单快捷的方法是在 SSH 客户端使用 SSH 连接到主节点,并使用基于文本的浏览器 Lynx 查看网站。但是,Lynx 是一种基于文本的浏览器,用户界面存在限制,无法显示图形。下面的示例演示如何使用 Lynx 打开 Hadoop ResourceManager 界面 (使用 SSH 登录主节点时还会提供 Lynx URL)。

lynx http://ip-###-##-##-###.us-west-2.compute.internal:8088/

还有两个提供完整浏览器功能的选项可用于访问主节点上的 Web 界面。选择以下选项之一:

  • 选项 1 (建议偏技术性用户使用) :使用 SSH 客户端连接到主节点,使用本地端口转发配置 SSH 隧道,然后使用 Internet 浏览器打开主节点上托管的 Web 界面。此方法允许您在不使用 SOCKS 代理的情况下配置 Web 界面访问。

  • 选项 2 (建议新用户使用) :使用 SSH 客户端连接到主节点,使用动态端口转发配置 SSH 隧道,然后配置 Internet 浏览器使用附加组件 (如 FoxyProxy 或 SwitchySharp) 管理 SOCKS 代理设置。此方法允许您基于文本模式自动筛选 URL,并将代理设置限制为与主节点的 DNS 名称形式匹配的域。当您在查看主节点上托管的网站与 Internet 上的网站之间切换时,浏览器加载项会自动处理代理的打开和关闭。有关如何为 Firefox 和 Google Chrome 配置 FoxyProxy 的更多信息,请参阅选项 2 第 2 部分:配置代理设置以查看主节点上托管的网站