Amazon ParallelClusterAMI 自定义 - Amazon ParallelCluster
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon ParallelClusterAMI 自定义

在某些情况下,需要为以下对象构建自定义 AMIAmazon ParallelCluster是必要的。在本节中,学习操作方法Amazon ParallelCluster支持自定义Amazon ParallelClusterAMI 以及构建 AMI 时需要考虑的事项。

有以下两种方法可构建自定义Amazon ParallelClusterAMI。

  1. 创建生成镜像配置文件然后使用pcluster使用 EC2 Image Builder 构建镜像的 CLI。此过程是自动化、可重复的,并且支持监控。有关更多信息,请参阅 。pcluster图像命令。

  2. 从创建实例Amazon ParallelClusterAMI,登录到它,进行手动修改,然后使用 Amazon EC2 从修改后的实例中创建一个新的 AMI。这个过程花费的时间更少,但是,它不是自动化的,也不是可重复的,它不支持使用pclusterCLI 镜像监控命令。

有关使用这些方法的更多信息,请参阅构建自定义 Amazon ParallelCluster AMI.

Amazon ParallelClusterAMI 自定义注意事项

无论你选择pcluster图像命令或手动创建自定义镜像的方法,我们建议您进行初步验证测试,并包括监控映像创建状态的条款。

要构建自定义 AMI,请使用pcluster,你创建一个生成镜像配置文件BuildImage部分EC2 Image Builder用于构建您的自定义镜像。这些区域有:Build部分指定了 Image Builder 构建镜像所需的内容,包括ParentImage(基础映像),以及Components. 网络 ACL 和安全组都允许 (因此可到达您的实例) 的发起 ping 的Image Builder 组件定义了在创建映像之前自定义实例或测试由创建的映像启动的实例所需的一系列步骤。对于Amazon ParallelCluster组件示例,请参阅自定义 AMI. 这些区域有:Image部分指定图像属性。

从 pcluster 调用时build-image要创建自定义镜像,Image Builder 使用构建镜像配置和Amazon ParallelCluster引导食谱Amazon ParallelCluster在你身上ParentImage. 它下载组件、运行构建和验证阶段、创建 AMI、从 AMI 启动实例并运行测试。该过程完成后,它会生成新图像或停止消息。

执行自定义组件验证测试

在将 Image Builder 组件添加到配置中之前,请使用以下方法之一对其进行测试和验证。由于 Image Builder 过程可能需要一个多小时才能完成,因此事先测试组件可以为您节省大量时间。

脚本案例

在构建镜像进程之外的正在运行的实例中测试脚本,并使用退出代码 0 验证脚本是否退出。

Amazon 资源名称 (ARN) 案例

根据中描述的要求,在构建镜像过程之外的正在运行的实例中测试组件文档组件管理器在里面Image Builder 用户指南.

成功验证后,将组件添加到您的构建映像配置中

确认自定义组件正常运行后,将其添加到生成镜像配置文件.

使用以下命令监控Image Builder 流程pcluster帮助调试的命令

describe-image

使用此命令监控构建映像状态。

list-image-log-streams

使用此命令获取日志流的 ID,您可以使用这些日志流检索日志事件get-image-log-events.

get-image-log-events

使用此命令获取生成映像处理事件的日志流。

例如,您可以尾随生成镜像事件,如以下命令所示。

$ watch -n 1 'pcluster get-image-log-events -i <image-id> \ --log-stream-name <pcluster-version>/1 \ --query "events[*].message" | tail -n 50'

get-image-stack-events

使用此命令检索 Image Builder 创建的堆栈的图像堆栈事件。

export-image-logs

使用此命令保存图像日志。

有关Amazon ParallelCluster日志和Amazon CloudWatch,请参阅亚马逊 CloudWatch 日志构建映像日志亚马逊 CloudWatch 仪表板.

其它考虑因素

newAmazon ParallelCluster发布和自定义 AMI

如果您构建和使用自定义 AMI,则必须使用每个新的 AMI 重复创建自定义 AMI 时使用的步骤Amazon ParallelCluster版本。

自定义引导操作

查看自定义引导操作部分,以确定将来是否可以编写脚本并支持您要进行的修改Amazon ParallelCluster版本。

使用自定义 AMI

您可以在集群配置中指定自定义 AMIImage/CustomAmiScheduling/SlurmQueues/-Name/Image/CustomAmi部分。

要解决自定义 AMI 验证警告,请参阅排查自定义 AMI 问题.