Amazon ParallelCluster API

什么是Amazon ParallelCluster API？

Amazon ParallelClusterAPI 是一种无服务器应用程序，一旦部署到您的应用程序，Amazon Web Services 账户即可通过 API 以编程方式访问Amazon ParallelCluster功能。

Amazon ParallelClusterAPI 以独立Amazon CloudFormation模板的形式分发，主要由一个 Amazon API Gateway 终端节点（用于公开Amazon ParallelClusterAmazon Lambda功能）和一个函数（负责执行所调用的功能）组成。

下图显示了Amazon ParallelCluster API 基础设施的高级架构图。

Amazon ParallelClusterAPI 文档

描述 API 的 OpenAmazon ParallelCluster API 规范文件可以从以下地址下载：

https://<REGION>-aws-parallelcluster.s3.<REGION>.amazonaws.com/parallelcluster/<VERSION>/api/ParallelCluster.openapi.yaml

从 OpenAPI 规范文件开始，您可以使用诸如 Swagger UAmazon ParallelCluster I 或 Redoc 等众多可用工具之一为 API 生成文档。

如何部署Amazon ParallelCluster API

要部署Amazon ParallelCluster API，您需要成为的管理员Amazon Web Services 账户。

用于部署 API 的模板可在以下 URL 获得：

https://<REGION>-aws-parallelcluster.s3.<REGION>.amazonaws.com/parallelcluster/<VERSION>/api/parallelcluster-api.yaml

API 需要部署到Amazon Web Services 区域哪里，<VERSION>是Amazon ParallelCluster版本（例如 3.5.0）。<REGION>

用于部署Amazon Lambda函数实现Amazon ParallelCluster功能的 Docker 镜像可在以下网址获得：https://gallery.ecr.aws/parallelcluster/pcluster-api

使用以下方式部署Amazon CLI

如果尚未配置要在 CLI 中使用的Amazon证书，请配置。

$ aws configure

运行以下命令部署 API

$ REGION=<region>
$ API_STACK_NAME=<stack-name>  # This can be any name
$ VERSION=3.5.0
$ aws cloudformation create-stack \
    --region ${REGION} \
    --stack-name ${API_STACK_NAME} \
    --template-url https://${REGION}-aws-parallelcluster.s3.${REGION}.amazonaws.com/parallelcluster/${VERSION}/api/parallelcluster-api.yaml \
    --capabilities CAPABILITY_NAMED_IAM CAPABILITY_AUTO_EXPAND
$ aws cloudformation wait stack-create-complete --stack-name ${API_STACK_NAME} --region ${REGION}

自定义您的部署

可以使用模板公开的Amazon CloudFormation参数自定义 API 部署。要在通过 CLI 部署时配置参数的值，可以使用以下选项：--parameters ParameterKey=KeyName,ParameterValue=Value。

下面记录的参数都是可选的。

更新 API

用例 1：升级到新Amazon ParallelCluster版本

选项 1：通过删除相应的Amazon CloudFormation堆栈来移除现有 API 并部署新的 API，如上所示。

选项 2：通过运行以下说明更新现有 API：

$ REGION=<region>
$ API_STACK_NAME=<stack-name>  # This needs to correspond to the existing API stack name
$ VERSION=3.5.0
$ aws cloudformation update-stack \
    --region ${REGION} \
    --stack-name ${API_STACK_NAME} \
    --template-url https://${REGION}-aws-parallelcluster.s3.${REGION}.amazonaws.com/parallelcluster/${VERSION}/api/parallelcluster-api.yaml \
    --capabilities CAPABILITY_NAMED_IAM CAPABILITY_AUTO_EXPAND
$ aws cloudformation wait stack-update-complete --stack-name ${API_STACK_NAME} --region ${REGION}

用例 2：将 API 更新为已部署Amazon ParallelCluster版本的最新可用的 Docker 镜像版本

Amazon ParallelCluster可以定期为包含已更新和修补的依赖项的 APIAmazon Lambda 函数部署刷新的 Docker 镜像。此类刷新后的图像不包括给定Amazon ParallelCluster版本附带的功能的任何更改。要将最新的 Docker 镜像用于 API 的已部署版本，您可以运行以下说明：

$ REGION=<region>
$ API_STACK_NAME=<stack-name>
$ DOCKER_UPDATE_IMAGE_PIPELINE=$(aws cloudformation describe-stacks --region ${REGION} --stack-name ${API_STACK_NAME} --query "Stacks[0].Outputs[?OutputKey=='ParallelClusterDockerUpdateImagePipeline'].OutputValue" --output text)
$ aws imagebuilder start-image-pipeline-execution --region ${REGION} --image-pipeline-arn ${DOCKER_UPDATE_IMAGE_PIPELINE}

这将触发 EC2 Image Builder 管道的构建，该管道负责为已部署的 API 版本获取最新的可用的Amazon ParallelCluster Docker 镜像。

调用Amazon ParallelCluster API

Amazon ParallelClusterAmazon API Gateway 终端节点配置了AWS_IAM授权类型，因此要求所有请求都必须使用有效的 IAM 凭证进行 Sigv4 签名（API 参考：发出 http 请求）。

使用默认设置部署时，API 调用权限仅授予使用 API 创建的默认 IAM 用户。

要检索此类用户的 ARN，请运行：

$ REGION=<region>
$ API_STACK_NAME=<stack-name>
$ aws cloudformation describe-stacks --region ${REGION} --stack-name ${API_STACK_NAME} --query "Stacks[0].Outputs[?OutputKey=='ParallelClusterApiUserRole'].OutputValue" --output text

此类用户的临时凭证可以通过调用 STS 获取 AssumeRole。

Amazon ParallelClusterAPI 终端节点可以通过运行以下命令获取：

$ REGION=<region>
$ API_STACK_NAME=<stack-name>
$ aws cloudformation describe-stacks --region ${REGION} --stack-name ${API_STACK_NAME} --query "Stacks[0].Outputs[?OutputKey=='ParallelClusterApiInvokeUrl'].OutputValue" --output text

任何符合 OpenAmazon ParallelCluster API 规范的 HTTP 客户端都可以调用该 API，该规范可以在此处找到：

https://<REGION>-aws-parallelcluster.s3.<REGION>.amazonaws.com/parallelcluster/<VERSION>/api/ParallelCluster.openapi.yaml

请求需要按此处所述进行 SIGv4 签名。

目前我们不提供任何官方的 API 客户端实现。但是，使用 OpenAPI 生成器可以轻松地从 OpenAPI 模型生成 API 客户端。生成客户端后，如果没有开箱即用，则需要添加 Sigv4 签名。

可以在Amazon ParallelCluster存储库中找到 Python API 客户端的参考实现。要详细了解如何使用 Python API 客户端，请参阅使用 Amazon ParallelCluster API教程。

要实现更高级的访问控制机制，例如 Amazon Cognito 或 Lambda Authorizers，或者使用Amazon WAF或 API 密钥进一步保护 API，请遵循 Amazon API Gateway 文档。

- !Sub arn:${AWS::Partition}:iam::${AWS::AccountId}:policy/parallelcluster*
- !Sub arn:${AWS::Partition}:iam::${AWS::AccountId}:policy/parallelcluster/*
- !Sub arn:${AWS::Partition}:iam::aws:policy/CloudWatchAgentServerPolicy
- !Sub arn:${AWS::Partition}:iam::aws:policy/AmazonSSMManagedInstanceCore
- !Sub arn:${AWS::Partition}:iam::aws:policy/AWSBatchFullAccess
- !Sub arn:${AWS::Partition}:iam::aws:policy/AmazonS3ReadOnlyAccess
- !Sub arn:${AWS::Partition}:iam::aws:policy/service-role/AWSBatchServiceRole
- !Sub arn:${AWS::Partition}:iam::aws:policy/service-role/AmazonEC2ContainerServiceforEC2Role
- !Sub arn:${AWS::Partition}:iam::aws:policy/service-role/AmazonECSTaskExecutionRolePolicy
- !Sub arn:${AWS::Partition}:iam::aws:policy/service-role/AmazonEC2SpotFleetTaggingRole
- !Sub arn:${AWS::Partition}:iam::aws:policy/EC2InstanceProfileForImageBuilder
- !Sub arn:${AWS::Partition}:iam::aws:policy/service-role/AWSLambdaBasicExecutionRole

访问 API 日志和指标

API 日志发布到亚马逊 CloudWatch ，保留期为 30 天。要检索与 API 部署关联的 LogGroup 名称，请运行以下命令：

$ REGION=<region>
$ API_STACK_NAME=<stack-name>
$ aws cloudformation describe-stacks --region ${REGION} --stack-name ${API_STACK_NAME} --query "Stacks[0].Outputs[?OutputKey=='ParallelClusterLambdaLogGroup'].OutputValue" --output text

也可以通过 Lambda 控制台访问 Lambda 指标、日志和Amazon X-Ray跟踪日志。要检索与 API 部署关联的 Lambda 函数的 ARN，请运行以下命令：

$ REGION=<region>
$ API_STACK_NAME=<stack-name>
$ aws cloudformation describe-stacks --region ${REGION} --stack-name ${API_STACK_NAME} --query "Stacks[0].Outputs[?OutputKey=='ParallelClusterLambdaArn'].OutputValue" --output text