Amazon EMR
管理指南
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

选项 2 第 2 部分:配置代理设置以查看主节点上托管的网站

如果您使用具有动态端口转发的 SSH 隧道,则必须使用 SOCKS 代理管理附加组件来控制浏览器中的代理设置。使用 SOCKS 代理管理工具可以基于文本模式自动筛选 URL,并将代理设置限制为与主节点的公有 DNS 名称形式匹配的域。当您在查看主节点上托管的网站与 Internet 上的网站之间切换时,浏览器加载项会自动处理代理的打开和关闭。要管理代理设置,请将浏览器配置为使用附加组件 (如 FoxyProxy 或 SwitchySharp)。

有关创建 SSH 隧道的更多信息,请参阅选项 2 第 1 部分:使用动态端口转发设置到主节点的 SSH 隧道。有关可用 Web 界面的详细信息,请参阅 查看 Amazon EMR 集群上托管的 Web 界面

以下示例说明使用 Google Chrome 的 FoxyProxy 配置。从该示例中的配置文件加载的相关设置如下所示:

  • 主机或 IP 地址 - 在此示例中,此选项设置为 localhost,端口设置为 8157。您应将此端口设置为用于与选项 2 第 1 部分:使用动态端口转发设置到主节点的 SSH 隧道中的主节点建立 SSH 隧道的本地端口号。此端口还必须与您在 PuTTY 或其他用于连接的终端仿真器中的端口号匹配。

  • 指定 SOCKS v5 配置。

  • 未指定登录凭证。

  • URL 模式

    以下 URL 模式将被列入白名单并且使用通配符模式类型进行指定:

    • *ec2*.amazonaws.com**10*.amazonaws.com* 模式与美国区域中集群的公有 DNS 名称匹配。

    • *ec2*.compute**10*.compute* 模式与所有其他区域中集群的公有 DNS 名称匹配。

    • 10.* 模式提供对 Hadoop 中的 JobTracker 日志文件的访问。如果该筛选条件与网络访问计划冲突,请更改该筛选条件。

为 Google Chrome 配置 FoxyProxy

可以为 Google Chrome、Mozilla Firefox 和 Microsoft Internet Explorer 配置 FoxyProxy。FoxyProxy 提供了一组代理管理工具,使您可以将代理服务器用于与 Amazon EMR 集群中 Amazon EC2 实例所用域的模式相符的 URL。

使用 Google Chrome 安装和配置 FoxyProxy

  1. 参阅 https://chrome.google.com/webstore/search/foxy%20proxy 并按照链接和说明操作,将 FoxyProxy 添加到 Chrome。

  2. 使用文本编辑器,同时使用以下内容创建名为 foxyproxy-settings.xml 的文件:

    <?xml version="1.0" encoding="UTF-8"?> <foxyproxy> <proxies> <proxy name="emr-socks-proxy" id="2322596116" notes="" fromSubscription="false" enabled="true" mode="manual" selectedTabIndex="2" lastresort="false" animatedIcons="true" includeInCycle="true" color="#0055E5" proxyDNS="true" noInternalIPs="false" autoconfMode="pac" clearCacheBeforeUse="false" disableCache="false" clearCookiesBeforeUse="false" rejectCookies="false"> <matches> <match enabled="true" name="*ec2*.amazonaws.com*" pattern="*ec2*.amazonaws.com*" isRegEx="false" isBlackList="false" isMultiLine="false" caseSensitive="false" fromSubscription="false" /> <match enabled="true" name="*ec2*.compute*" pattern="*ec2*.compute*" isRegEx="false" isBlackList="false" isMultiLine="false" caseSensitive="false" fromSubscription="false" /> <match enabled="true" name="10.*" pattern="http://10.*" isRegEx="false" isBlackList="false" isMultiLine="false" caseSensitive="false" fromSubscription="false" /> <match enabled="true" name="*10*.amazonaws.com*" pattern="*10*.amazonaws.com*" isRegEx="false" isBlackList="false" isMultiLine="false" caseSensitive="false" fromSubscription="false" /> <match enabled="true" name="*10*.compute*" pattern="*10*.compute*" isRegEx="false" isBlackList="false" isMultiLine="false" caseSensitive="false" fromSubscription="false" /> <match enabled="true" name="*.compute.internal*" pattern="*.compute.internal*" isRegEx="false" isBlackList="false" isMultiLine="false" caseSensitive="false" fromSubscription="false"/> <match enabled="true" name="*.ec2.internal* " pattern="*.ec2.internal*" isRegEx="false" isBlackList="false" isMultiLine="false" caseSensitive="false" fromSubscription="false"/> </matches> <manualconf host="localhost" port="8157" socksversion="5" isSocks="true" username="" password="" domain="" /> </proxy> </proxies> </foxyproxy>
  3. 在 Chrome 中管理扩展(转到 chrome://extensions)。

  4. 针对 FoxyProxy Standard 选择 Options

  5. FoxyProxy 页面上,选择 Import/Export (导入/导出)

  6. Import/Export (导入/导出) 页面上,选择选择文件,浏览到您创建的 foxyproxy-settings.xml 文件的位置,选择该文件,然后选择打开

  7. 提示覆盖现有设置时选择 Replace (替换)

  8. 对于 Proxy mode (代理模式),选择 Use proxies based on their predefined patterns and priorities (根据预定义模式和优先级使用代理)

  9. 要打开 Web 界面,请在浏览器的地址栏中键入master-public-dns,后跟端口号或 URL。

    有关主节点上的 Web 界面的完整列表,请参阅查看 Amazon EMR 集群上托管的 Web 界面