Examples - Amazon ParallelCluster
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Examples

以下示例配置展示了Amazon ParallelCluster使用 ConfigerSlurm、Torque, 和Amazon Batch计划程序。

Slurm Workload Manager (slurm)

以下示例使用 slurm 计划程序启动集群。示例配置启动 1 个具有 2 个作业队列的集群。第一个队列spot,最初有 2t3.micro可用竞价型实例。它最多可以扩展到 10 个实例,并在 10 分钟内未运行任何作业时缩小到至少 1 个实例(使用scaledown_idletime设置)。第二个队列ondemand,从没有实例开始,最多可以扩展到 5t3.micro按需实例。

[global] update_check = true sanity_check = true cluster_template = slurm [aws] aws_region_name = <your Amazon Web Services 区域 > [vpc public] master_subnet_id = <your subnet> vpc_id = <your VPC> [cluster slurm] key_name = <your EC2 keypair name> base_os = alinux2 # optional, defaults to alinux2 scheduler = slurm master_instance_type = t3.micro # optional, defaults to t3.micro vpc_settings = public queue_settings = spot,ondemand [queue spot] compute_resource_settings = spot_i1 compute_type = spot # optional, defaults to ondemand [compute_resource spot_i1] instance_type = t3.micro min_count = 1 # optional, defaults to 0 initial_count = 2 # optional, defaults to 0 [queue ondemand] compute_resource_settings = ondemand_i1 [compute_resource ondemand_i1] instance_type = t3.micro max_count = 5 # optional, defaults to 10

Son of Grid Engine(sge) 和Torque Resource Manager(torque

以下示例使用torque或者sge计划程序。使用SGE,更改scheduler = torquescheduler = sge。该示例配置允许最多 5 个并发节点,且当 10 分钟没有作业运行时缩减到两个节点。

[global] update_check = true sanity_check = true cluster_template = torque [aws] aws_region_name = <your Amazon Web Services 区域 > [vpc public] master_subnet_id = <your subnet> vpc_id = <your VPC> [cluster torque] key_name = <your EC2 keypair name> base_os = alinux2 # optional, defaults to alinux2 scheduler = torque # optional, defaults to sge master_instance_type = t3.micro # optional, defaults to t3.micro vpc_settings = public initial_queue_size = 2 # optional, defaults to 0 maintain_initial_size = true # optional, defaults to false max_queue_size = 5 # optional, defaults to 10
警告

从二零一二年十二月三十一日开始Amazon将不再包含SGE和Torque支持所有发布版本Amazon ParallelCluster。先前版本Amazon ParallelCluster支持SGE和Torque仍然可供下载和使用。但是,这些版本将不符合以后的更新或故障排除支持的条件Amazon服务和AmazonSupport 团队 此外,未来的版本Amazon ParallelCluster之前和之后 12 月 31 日,2021 年将不包括任何支持SGE或者Torque。

Amazon Batch (awsbatch)

以下示例使用 awsbatch 计划程序启动集群。它设置为根据您的作业资源需求来选择更佳实例类型。

该示例配置允许最多 40 个并发 vCPUs,且当 10 分钟没有作业运行时缩减到零(使用scaledown_idletime设置)。

[global] update_check = true sanity_check = true cluster_template = awsbatch [aws] aws_region_name = <your Amazon Web Services 区域 > [vpc public] master_subnet_id = <your subnet> vpc_id = <your VPC> [cluster awsbatch] scheduler = awsbatch compute_instance_type = optimal # optional, defaults to optimal min_vcpus = 0 # optional, defaults to 0 desired_vcpus = 0 # optional, defaults to 4 max_vcpus = 40 # optional, defaults to 20 base_os = alinux2 # optional, defaults to alinux2, controls the base_os of # the head node and the docker image for the compute fleet key_name = <your EC2 keypair name> vpc_settings = public