建立自定义 Amazon ParallelCluster AMI

使用 Amazon ParallelCluster 命令行界面 (CLI) 或时API，您只需为创建或更新 Amazon ParallelCluster 映像和集群时创建的 Amazon 资源付费。有关更多信息，请参阅 Amazon 使用的服务 Amazon ParallelCluster。

Amazon ParallelCluster 用户界面基于无服务器架构构建，在大多数情况下，您可以在 Amazon 免费套餐类别中使用它。有关更多信息，请参阅 Amazon ParallelCluster 用户界面成本。

在进一步阅读之前，我们建议您首先查看自定义引导操作一节。确定未来 Amazon ParallelCluster 版本是否可以脚本化并支持您要进行的修改。

尽管通常构建自定义AMI并不理想，但在某些特定场景中，需要AMI Amazon ParallelCluster 为其构建自定义。本教程介绍如何AMI针对这些场景构建自定义。

如何自定义 Amazon ParallelCluster AMI

有两种方法可以创建自定义 Amazon ParallelCluster AMI。这两种方法之一是AMI使用构建一个新的 Amazon ParallelCluster CLI。另一种方法要求您进行手动修改，以构建在您的下方可AMI用的新版本 Amazon Web Services 账户。

创建自定义 Amazon ParallelCluster AMI

如果您有自定义AMI和软件，则可以在其 Amazon ParallelCluster 上应用所需的更改。 Amazon ParallelCluster 依靠 EC2 Image Builder 服务进行自定义构建AMIs。有关更多信息，请参阅 Image Builder User Guide。

关键点：

步骤：

对AMI创建过程进行故障排除和监控

映像创建将在大约一个小时后完成。您可以通过运行 pcluster describe-image 命令或日志检索命令来监控该过程。

$ pcluster describe-image --image-id IMAGE_ID --region REGION

该build-image命令使用构建映像所需的所有 Amazon EC2 资源创建一个 CloudFormation 堆栈，并启动 Image Builder 进程。EC2

运行该build-image命令后，可以使用来检索 CloudFormation 堆栈事件pcluster get-image-stack-events。您可以使用 --query 参数来筛选结果，以查看最新事件。有关更多信息，请参阅《Amazon Command Line Interface 用户指南》中的筛选 Amazon CLI 输出。

$ pcluster get-image-stack-events --image-id IMAGE_ID --region REGION --query "events[0]"
{
 "eventId": "ParallelClusterImage-CREATE_IN_PROGRESS-2022-04-05T21:39:24.725Z",
 "physicalResourceId": "arn:aws:imagebuilder:us-east-1:123456789012:image/parallelclusterimage-IMAGE_ID/3.7.0/1",
 "resourceStatus": "CREATE_IN_PROGRESS",
 "resourceStatusReason": "Resource creation Initiated",
 "resourceProperties": "{\"InfrastructureConfigurationArn\":\"arn:aws:imagebuilder:us-east-1:123456789012:infrastructure-configuration/parallelclusterimage-abcd1234-ef56-gh78-ij90-1234abcd5678\",\"ImageRecipeArn\":\"arn:aws:imagebuilder:us-east-1:123456789012:image-recipe/parallelclusterimage-IMAGE_ID/3.7.0\",\"DistributionConfigurationArn\":\"arn:aws:imagebuilder:us-east-1:123456789012:distribution-configuration/parallelclusterimage-abcd1234-ef56-gh78-ij90-1234abcd5678\",\"Tags\":{\"parallelcluster:image_name\":\"IMAGE_ID\",\"parallelcluster:image_id\":\"IMAGE_ID\"}}",
 "stackId": "arn:aws:cloudformation:us-east-1:123456789012:stack/IMAGE_ID/abcd1234-ef56-gh78-ij90-1234abcd5678",
 "stackName": "IMAGE_ID",
 "logicalResourceId": "ParallelClusterImage",
 "resourceType": "AWS::ImageBuilder::Image",
 "timestamp": "2022-04-05T21:39:24.725Z"
}

大约 15 分钟后，堆栈事件将出现在与 Image Builder 创建相关的日志事件条目中。您现在可以使用 pcluster list-image-log-streams 和 pcluster get-image-log-events 命令列出映像日志流并监控 Image Builder 步骤。

$ pcluster list-image-log-streams --image-id IMAGE_ID --region REGION \
    --query 'logStreams[*].logStreamName'

 "3.7.0/1"
]

$ pcluster get-image-log-events --image-id IMAGE_ID --region REGION \
--log-stream-name 3.7.0/1 --limit 3
{
 "nextToken": "f/36295977202298886557255241372854078762600452615936671762",
 "prevToken": "b/36295977196879805474012299949460899222346900769983430672",
 "events": [
   {
     "message": "ExecuteBash: FINISHED EXECUTION",
     "timestamp": "2022-04-05T22:13:26.633Z"
   },
   {
     "message": "Document arn:aws:imagebuilder:us-east-1:123456789012:component/parallelclusterimage-test-abcd1234-ef56-gh78-ij90-1234abcd5678/3.7.0/1",
     "timestamp": "2022-04-05T22:13:26.741Z"
   },
   {
     "message": "TOE has completed execution successfully",
     "timestamp": "2022-04-05T22:13:26.819Z"
   }
 ]
}

继续使用 describe-image 命令进行检查，直到看到 BUILD_COMPLETE 状态。

$ pcluster describe-image --image-id IMAGE_ID --region REGION
{
 "imageConfiguration": {
   "url": "https://parallelcluster-1234abcd5678efgh-v1-do-not-delete.s3.us-east-1.amazonaws.com/parallelcluster/3.7.0/images/IMAGE_ID-abcd1234efgh5678/configs/image-config.yaml?Signature=..."
 },
 "imageId": "IMAGE_ID",
 "imageBuildStatus": "BUILD_COMPLETE",
 "region": "us-east-1",
 "ec2AmiInfo": {
     "amiName": "IMAGE_ID 2022-04-05T21-39-24.020Z",
     "amiId": "ami-1234stuv5678wxyz",
     "description": "Amazon ParallelCluster AMI for alinux2, kernel-4.14.238-182.422.amzn2.x86_64, lustre-2.10.8-5.amzn2.x86_64, efa-1.13.0-1.amzn2.x86_64, dcv-2021.1.10598-1.el7.x86_64, slurm-20-11-8-1",
     "state": "AVAILABLE",
     "tags": [
      {
        "value": "2021.3.11591-1.el7.x86_64",
        "key": "parallelcluster:dcv_version"
      },
      ...
     ],
   "architecture": "x86_64"
 },
 "version": "3.7.0"      
}

如果您需要解决自定义AMI创建问题，请按照以下步骤创建图像日志存档。

可以将日志存档到 Amazon S3 存储桶或本地文件中，具体取决于 --output 参数。

$ pcluster export-image-logs --image-id IMAGE_ID --region REGION \
--bucket BUCKET_NAME --bucket-prefix BUCKET_FOLDER
{
 "url": "https://BUCKET_NAME.s3.us-east-1.amazonaws.com/BUCKET-FOLDER/IMAGE_ID-logs-202209071136.tar.gz?AWSAccessKeyId=..."
}

$ pcluster export-image-logs --image-id IMAGE_ID \
--region REGION --bucket BUCKET_NAME --bucket-prefix BUCKET_FOLDER --output-file /tmp/archive.tar.gz
{
 "path": "/tmp/archive.tar.gz"
}

该档案包含与 Image Builder 进程和 Amazon CloudFormation 堆栈事件相关的 CloudWatch 日志流。该命令的运行可能需要几分钟才能完成。

管理自定义 AMIs

从 Amazon ParallelCluster 3.0.0 开始，在中添加了一组用于构建、监控和管理映像生命周期的新命令。CLI有关这些命令的更多信息，请参阅 pcluster 命令。

修改 Amazon ParallelCluster AMI

此方法包括 Amazon ParallelCluster AMI通过在其上添加自定义来修改官方。基础版 Amazon ParallelCluster AMIs已更新为新版本。它们AMIs具有安装和配置后运行所需 Amazon ParallelCluster 的所有组件。您可以以其中一个 AMI 作为起点。

关键点：

步骤：