网络配置 - Amazon ParallelCluster
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

网络配置

Amazon ParallelCluster使用 Amazon Virtual Private Cloud (VPC) 进行联网。VPC 提供了一个灵活且可配置的联网平台,您可以在其中部署集群。

VPC 必须有DNS Resolution = yes,DNS Hostnames = yes以及具有该地区正确域名的 DHCP 选项。默认 DHCP 选项集已经指定了所需的AmazonProvidedDNS. 如果指定多台域名服务器,请参阅DHCP 选项集在里面Amazon VPC User Guide.

Amazon ParallelCluster支持以下高级配置:

  • 一个子网用于头节点和计算节点。

  • 两个子网,头节点位于一个公有子网中,计算节点位于私有子网中。子网可以是新的子网,也可以是现有子网。

所有这些配置都可以在有或没有公有 IP 寻址的情况下运行。Amazon ParallelCluster也可以部署以使用 HTTP 代理Amazon请求。这些配置的组合会产生许多部署方案。例如,您可以配置一个可通过 Internet 进行所有访问的单个公有子网。或者,您可以使用以下方法配置完全私有网络Amazon Direct Connect以及所有流量的 HTTP 代理。

有关其中一些场景的插图,请参阅以下架构图:

Amazon ParallelCluster 位于单个公有子网中

此架构的配置需要以下设置:

[vpc public] vpc_id = vpc-xxxxxx master_subnet_id = subnet-<public> use_public_ips = true

这些区域有:use_public_ips无法将设置设置为false,因为互联网网关要求所有实例都有一个全球唯一的 IP 地址。有关更多信息,请参阅启用 Internet 访问Amazon VPC User Guide.

使用两个子网的 Amazon ParallelCluster


        使用两个子网的 Amazon ParallelCluster

为计算实例创建新的私有子网的配置要求使用以下设置:

请注意,所有值仅作为示例提供。

[vpc public-private-new] vpc_id = vpc-xxxxxx master_subnet_id = subnet-<public> compute_subnet_cidr = 10.0.1.0/24

使用现有私有网络的配置要求使用以下设置:

[vpc public-private-existing] vpc_id = vpc-xxxxxx master_subnet_id = subnet-<public> compute_subnet_id = subnet-<private>

这两种配置都需要NAT 网关或者使用内部代理来启用计算实例的 Web 访问。

使用 Amazon Direct Connect 连接的单个私有子网中的 Amazon ParallelCluster


        私密Amazon ParallelCluster和Amazon Direct Connect

此架构的配置需要以下设置:

[cluster private-proxy] proxy_server = http://proxy.corp.net:8080 [vpc private-proxy] vpc_id = vpc-xxxxxx master_subnet_id = subnet-<private> use_public_ips = false

use_public_ips将设置为false,必须正确设置 VPC 才能对所有流量使用代理。头节点和计算节点都需要 Web 访问权限。

Amazon ParallelCluster和awsbatch调度程序

当您使用以下应用程序时:awsbatch作为调度器类型,Amazon ParallelCluster创建Amazon Batch托管计算环境。这些区域有:Amazon Batch环境负责管理Amazon Elastic Container Service (Amazon ECS) 容器实例,这些实例在compute_subnet. 对于Amazon Batch要正常运行,Amazon ECS 容器实例需要外部网络访问以便与 Amazon ECS 服务终端节点进行通信。这会转换为以下情形:

  • 这些区域有:compute_subnet使用 NAT 网关访问互联网。(我们推荐这种方法。)

  • 在中启动的实例compute_subnet拥有公有 IP 地址,可以通过Internet Gateway 访问互联网。

此外,如果你对多节点parallel 作业感兴趣(来自Amazon Batch文档):

Amazon Batch多节点parallel 作业使用 Amazon ECSawsvpc网络模式,为多节点parallel 任务容器提供与 Amazon EC2 实例相同的联网属性。每个多节点并行作业容器都可获得自己的弹性网络接口、主要私有 IP 地址以及内部 DNS 主机名。网络接口与其主机计算资源在同一 Amazon VPC 子网中创建。适用于计算资源的任何安全组,也适用于该主机计算资源。

使用 Amazon ECS 任务联网时,awsvpc网络模式不为使用 Amazon EC2 启动类型的任务提供带有公有 IP 地址的弹性网络接口。要访问互联网,必须在配置为使用 NAT 网关的专用子网中启动使用 Amazon EC2 启动类型的任务。

必须配置 NAT 网关才能使集群运行多节点parallel 作业。


    Amazon ParallelCluster联网awsbatch调度程序

有关更多信息,请参阅以下主题: