本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
网络配置
Amazon ParallelCluster 使用亚马逊 Virtual Private Cloud (VPC) 进行联网。VPC提供了一个灵活且可配置的网络平台,您可以在其中部署集群。
VPC必须有DNS Resolution = yes
,DNS Hostnames = yes
以及具有该地区正确域名的DHCP选项。默认的DHCP选项集已经指定了所需的选项AmazonProvidedDNS。如果指定多个域名服务器,请参阅《Amazon VPC 用户指南》中的DHCP选项集。
Amazon ParallelCluster 支持以下高级配置:
-
适用于头节点和计算节点的一个子网。
-
两个子网,头节点位于一个公有子网中,计算节点位于私有子网中。子网可以是新的子网,也可以是现有子网。
所有这些配置都可以在有或没有公有 IP 地址的情况下运行。 Amazon ParallelCluster 也可以部署为使用HTTP代理 Amazon 处理所有请求。这些配置的组合会产生许多部署方案。例如,您可以配置一个公有子网,允许所有人通过 Internet 进行访问。或者,您可以使用 Amazon Direct Connect 和HTTP代理来配置一个完全私有的网络,用于所有流量。
有关其中一些情形的说明,请参阅以下架构图:
Amazon ParallelCluster 在单个公有子网中
此架构的配置需要以下设置:
[vpc public] vpc_id = vpc-
xxxxxx
master_subnet_id = subnet-<public>
use_public_ips = true
use_public_ips 设置不能设为 false
,因为互联网网关要求所有实例都具有全局唯一的 IP 地址。有关更多信息,请参阅 Amazon VPC 用户指南中的启用互联网接入。
Amazon ParallelCluster 使用两个子网
为计算实例创建新的私有子网的配置要求使用以下设置:
请注意,所有的值仅作为示例提供。
[vpc public-private-new] vpc_id = vpc-
xxxxxx
master_subnet_id = subnet-<public>
compute_subnet_cidr = 10.0.1.0/24
使用现有私有网络的配置要求使用以下设置:
[vpc public-private-existing] vpc_id = vpc-
xxxxxx
master_subnet_id = subnet-<public>
compute_subnet_id = subnet-<private>
这两种配置都需要NAT网关或内部代理才能为计算实例启用 Web 访问。
Amazon ParallelCluster 在使用连接的单个私有子网中 Amazon Direct Connect
此架构的配置需要以下设置:
[cluster private-proxy] proxy_server = http://proxy.corp.net:8080 [vpc private-proxy] vpc_id = vpc-
xxxxxx
master_subnet_id = subnet-<private>
use_public_ips = false
如果设置use_public_ips
为false
,则VPC必须正确设置才能对所有流量使用代理。头节点和计算节点都需要 Web 访问权限。
Amazon ParallelCluster 使用调awsbatch
度器
当您使用awsbatch
作为调度器类型时, Amazon ParallelCluster 会创建一个 Amazon Batch 托管计算环境。该 Amazon Batch 环境负责管理在中启动的亚马逊弹性容器服务 (AmazonECS) 容器实例compute_subnet
。 Amazon Batch 为了正常运行,Amazon ECS 容器实例需要访问外部网络才能与亚马逊ECS服务终端节点通信。这会转换为以下情形:
-
compute_subnet
使用NAT网关访问互联网。(我们建议采用此方法。) -
在
compute_subnet
中启动的实例具有公有 IP 地址,并可通过互联网网关访问互联网。
此外,如果您对多节点并行作业感兴趣(来自 Amazon Batch 文档):
Amazon Batch 多节点并行任务使用 Amazon ECS awsvpc
网络模式,该模式为您的多节点并行任务容器提供了与 Ama EC2 zon 实例相同的网络属性。每个多节点并行作业容器都有自己的弹性网络接口、主私有 IP 地址和内部DNS主机名。网络接口是在与其主机计算资源相同的 Amazon VPC 子网中创建的。适用于计算资源的任何安全组,也适用于该主机计算资源。
使用 Amazon T ECS ask Networking 时,awsvpc
网络模式不为使用 Amazon EC2 启动类型的任务提供带有公有 IP 地址的弹性网络接口。要访问互联网,使用 Amazon EC2 启动类型的任务必须在配置为使用网关的私有子NAT网中启动。
必须配置NAT网关才能使集群能够运行多节点 parallel 作业。
有关更多信息,请参阅以下主题: