设置一个VPC来托管集群 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

设置一个VPC来托管集群

必须先创建VPC和子网VPC,然后才能在中启动集群。对于公有子网,您必须创建一个 Internet 网关并将它连接到子网。以下说明描述了如何创建VPC能够托管 Amazon EMR 集群的。

为 Amazon EMR 集群创建VPC带子网的
  1. 打开亚马逊VPC控制台,网址为https://console.aws.amazon.com/vpc/

  2. 在页面的右上角,选择Amazon Web Services 区域适合你VPC的。

  3. 选择 “创建” VPC。

  4. VPC设置页面上,选择VPC和更多

  5. 在 “名称标签自动生成” 下,启用 “自动生成” 并输入您的名称。VPC这可以帮助您在创建VPC和子网后在 Amazon VPC 控制台中识别它们。

  6. IPv4CIDR区块字段中,输入您的私有 IP 地址空间,VPC以确保正确DNS解析主机名;否则,您可能会遇到 Amazon EMR 集群故障。该地址空间包括以下 IP 地址范围:

    • 10.0.0.0 - 10.255.255.255

    • 172.16.0.0 - 172.31.255.255

    • 192.168.0.0 - 192.168.255.255

  7. 可用区数量 (AZs) 下,选择要在其中启动子网的可用区数量。

  8. 在 “公有子网数量” 下,选择要添加到您的VPC的单个公有子网。如果集群使用的数据可在互联网上获得(例如,在 Amazon S3 或 Amazon 中RDS),则您只需要使用公有子网,无需添加私有子网。

  9. 私有子网数量下,选择要添加到您的私有子网的数量。VPC如果您的应用程序数据存储在您自己的网络中(例如,在 Oracle 数据库中),则选择一个或多个私有子网。对于私有子网中的,所有 Amazon EC2 实例都必须至少具有EMR通过弹性网络接口到亚马逊的路由。VPC在控制台中,将自动为您进行配置。

  10. NAT网关下,可以选择添加NAT网关。仅当您的私有子网需要与 Internet 通信的情况下,才需要使用它们。

  11. VPC终端节点下,可以选择将 Amazon S3 的终端节点添加到您的子网。

  12. 确认选中 “启用DNS主机名” 和 “启用DNS解析”。有关更多信息,请参阅DNS与您一起使用VPC

  13. 选择 “创建” VPC。

  14. 状态窗口会显示工作的进度。工作完成后,选择 “查看” VPC 以导航到 “您的VPCs页面”,其中显示您的默认值VPC和您刚刚创建的VPC页面。您创建VPC的为非默认值VPC,因此 “默认VPC” 列显示”。

  15. 如果要将您的VPC与不包含域名的DNS条目相关联,请导航至DHCP选项集,选择 “创建DHCP选项集”,然后省略域名。创建选项集后,导航到新的选项集VPC,在 “操作” 菜单下选择 “编辑DHCP选项集”,然后选择新的选项集。创建DNS选项集后,您无法使用控制台编辑域名。

    Hadoop 和相关应用程序的最佳做法是确保解析节点的完全限定域名 (FQDN)。为确保DNS分辨率正确VPC,请配置包含参数设置为以下值的DHCP选项集:

    • domain-name = ec2.internal

      如果您所在的区域是美国东部(弗吉尼亚北部),请使用 ec2.internal。对于其他地区,请使用 region-name.compute.internal。 有关中的示例us-west-2,请使用us-west-2.compute.internal。对于 Amazon GovCloud (美国西部)区域,请使用us-gov-west-1.compute.internal

    • domain-name-servers = AmazonProvidedDNS

    有关更多信息,请参阅 Amazon VPC 用户指南中的DHCP选项集

  16. 创建完成后,转至 “子网” 页面,记下新子网中其中一个子网的子网 ID。VPC VPC当您将 Amazon EMR 集群启动到中时,您将使用这些信息VPC。