网络配置 - Amazon ParallelCluster
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

网络配置

Amazon ParallelCluster 使用亚马逊 Virtual Private Cloud (VPC) 进行联网。VPC提供了一个灵活且可配置的网络平台,您可以在其中部署集群。

VPC必须有DNS Resolution = yesDNS Hostnames = yes以及具有该地区正确域名的DHCP选项。默认的DHCP选项集已经指定了所需的选项AmazonProvidedDNS。如果指定多个域名服务器,请参阅《Amazon VPC 用户指南》中的DHCP选项集

Amazon ParallelCluster 支持以下高级配置:

  • 适用于头节点和计算节点的一个子网。

  • 两个子网,头节点位于一个公有子网中,计算节点位于私有子网中。子网可以是新的子网,也可以是现有子网。

所有这些配置都可以在有或没有公有 IP 地址的情况下运行。 Amazon ParallelCluster 也可以部署为使用HTTP代理 Amazon 处理所有请求。这些配置的组合会产生许多部署方案。例如,您可以配置一个公有子网,允许所有人通过 Internet 进行访问。或者,您可以使用 Amazon Direct Connect 和HTTP代理来配置一个完全私有的网络,用于所有流量。

有关其中一些情形的说明,请参阅以下架构图:

Amazon ParallelCluster 在单个公有子网中

此架构的配置需要以下设置:

[vpc public] vpc_id = vpc-xxxxxx master_subnet_id = subnet-<public> use_public_ips = true

use_public_ips 设置不能设为 false,因为互联网网关要求所有实例都具有全局唯一的 IP 地址。有关更多信息,请参阅 Amazon VPC 用户指南中的启用互联网接入

Amazon ParallelCluster 使用两个子网

Amazon ParallelCluster 使用两个子网

为计算实例创建新的私有子网的配置要求使用以下设置:

请注意,所有的值仅作为示例提供。

[vpc public-private-new] vpc_id = vpc-xxxxxx master_subnet_id = subnet-<public> compute_subnet_cidr = 10.0.1.0/24

使用现有私有网络的配置要求使用以下设置:

[vpc public-private-existing] vpc_id = vpc-xxxxxx master_subnet_id = subnet-<public> compute_subnet_id = subnet-<private>

这两种配置都需要NAT网关或内部代理才能为计算实例启用 Web 访问。

Amazon ParallelCluster 在使用连接的单个私有子网中 Amazon Direct Connect

私密 Amazon ParallelCluster 使用 Amazon Direct Connect

此架构的配置需要以下设置:

[cluster private-proxy] proxy_server = http://proxy.corp.net:8080 [vpc private-proxy] vpc_id = vpc-xxxxxx master_subnet_id = subnet-<private> use_public_ips = false

如果设置use_public_ipsfalse,则VPC必须正确设置才能对所有流量使用代理。头节点和计算节点都需要 Web 访问权限。

Amazon ParallelCluster 使用调awsbatch度器

当您使用awsbatch作为调度器类型时, Amazon ParallelCluster 会创建一个 Amazon Batch 托管计算环境。该 Amazon Batch 环境负责管理在中启动的亚马逊弹性容器服务 (AmazonECS) 容器实例compute_subnet。 Amazon Batch 为了正常运行,Amazon ECS 容器实例需要访问外部网络才能与亚马逊ECS服务终端节点通信。这会转换为以下情形:

  • compute_subnet使用NAT网关访问互联网。(我们建议采用此方法。)

  • compute_subnet 中启动的实例具有公有 IP 地址,并可通过互联网网关访问互联网。

此外,如果您对多节点并行作业感兴趣(来自 Amazon Batch 文档):

Amazon Batch 多节点并行任务使用 Amazon ECS awsvpc 网络模式,该模式为您的多节点并行任务容器提供了与 Ama EC2 zon 实例相同的网络属性。每个多节点并行作业容器都有自己的弹性网络接口、主私有 IP 地址和内部DNS主机名。网络接口是在与其主机计算资源相同的 Amazon VPC 子网中创建的。适用于计算资源的任何安全组,也适用于该主机计算资源。

使用 Amazon T ECS ask Networking 时,awsvpc网络模式不为使用 Amazon EC2 启动类型的任务提供带有公有 IP 地址的弹性网络接口。要访问互联网,使用 Amazon EC2 启动类型的任务必须在配置为使用网关的私有子NAT网中启动。

必须配置NAT网关才能使集群能够运行多节点 parallel 作业。

Amazon ParallelCluster 与awsbatch调度器联网

有关更多信息,请参阅以下主题: