网络配置 - Amazon ParallelCluster
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

网络配置

Amazon ParallelCluster 使用亚马逊虚拟私有云 (VPC) Virtual Private Cloud 进行联网。VPC 提供了一个灵活且可配置的网络平台,您可以在其中部署集群。

VPC 必须有 DNS Resolution = yesDNS Hostnames = yes 和 DHCP 选项以及该区域的正确域名。默认 DHCP 选项集已经指定了所需的 AmazonProvidedDNS。如果指定多个域名服务器,请参阅 Amazon VPC 用户指南 中的 DHCP 选项集

Amazon ParallelCluster 支持以下高级配置:

  • 适用于头节点和计算节点的一个子网。

  • 两个子网,头节点位于一个公有子网中,计算节点位于私有子网中。子网可以是新的子网,也可以是现有子网。

所有这些配置都可以在有或没有公有 IP 地址的情况下运行。 Amazon ParallelCluster 也可以部署为对所有 Amazon 请求使用 HTTP 代理。这些配置的组合会产生许多部署方案。例如,您可以配置一个公有子网,允许所有人通过 Internet 进行访问。或者,您可以使用所有流量的 HTTP 代理配置完全私有网络。 Amazon Direct Connect

有关其中一些情形的说明,请参阅以下架构图:

Amazon ParallelCluster 在单个公有子网中

此架构的配置需要以下设置:

[vpc public] vpc_id = vpc-xxxxxx master_subnet_id = subnet-<public> use_public_ips = true

use_public_ips 设置不能设为 false,因为互联网网关要求所有实例都具有全局唯一的 IP 地址。有关更多信息,请参阅 Amazon VPC 用户指南 中的启用互联网访问

Amazon ParallelCluster 使用两个子网

Amazon ParallelCluster 使用两个子网

为计算实例创建新的私有子网的配置要求使用以下设置:

请注意,所有的值仅作为示例提供。

[vpc public-private-new] vpc_id = vpc-xxxxxx master_subnet_id = subnet-<public> compute_subnet_cidr = 10.0.1.0/24

使用现有私有网络的配置要求使用以下设置:

[vpc public-private-existing] vpc_id = vpc-xxxxxx master_subnet_id = subnet-<public> compute_subnet_id = subnet-<private>

这两种配置都需要 NAT 网关或内部代理才能为计算实例启用 Web 访问。

Amazon ParallelCluster 在使用连接的单个私有子网中 Amazon Direct Connect

私密 Amazon ParallelCluster 使用 Amazon Direct Connect

此架构的配置需要以下设置:

[cluster private-proxy] proxy_server = http://proxy.corp.net:8080 [vpc private-proxy] vpc_id = vpc-xxxxxx master_subnet_id = subnet-<private> use_public_ips = false

use_public_ips 设置为 false 时,必须正确设置 VPC 以便对所有流量使用代理。头节点和计算节点都需要 Web 访问权限。

Amazon ParallelCluster 使用调awsbatch度器

当您使用awsbatch作为调度器类型时, Amazon ParallelCluster 会创建一个 Amazon Batch 托管计算环境。该 Amazon Batch 环境负责管理亚马逊弹性容器服务 (Amazon ECS) 容器实例,这些实例是在中启动的。compute_subnet Amazon Batch 为了正常运行,Amazon ECS 容器实例需要访问外部网络才能与 Amazon ECS 服务终端节点通信。这会转换为以下情形:

  • compute_subnet 使用 NAT 网关访问互联网。(我们建议采用此方法。)

  • compute_subnet 中启动的实例具有公有 IP 地址,并可通过互联网网关访问互联网。

此外,如果您对多节点并行作业感兴趣(来自 Amazon Batch 文档):

Amazon Batch 多节点并行任务使用 Amazon ECS awsvpc 网络模式,该模式为您的多节点并行任务容器提供了与 Amazon EC2 实例相同的联网属性。每个多节点并行作业容器都可获得自己的弹性网络接口、主要私有 IP 地址以及内部 DNS 主机名。在同一 Amazon VPC 子网中创建网络接口,作为其主机计算资源。适用于计算资源的任何安全组,也适用于该主机计算资源。

当使用 Amazon ECS 任务联网时,awsvpc 网络模式不为使用 Amazon EC2 启动类型的任务提供具有公有 IP 地址的弹性网络接口。要访问互联网,必须在配置为使用 NAT 网关的私有子网中启动使用 Amazon EC2 启动类型的任务。

要使集群能够运行多节点并行作业,必须配置 NAT 网关。

Amazon ParallelCluster 与awsbatch调度器联网

有关更多信息,请参阅以下主题: