Amazon 使用的服务 Amazon ParallelCluster - Amazon ParallelCluster
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon 使用的服务 Amazon ParallelCluster

使用以下亚马逊 Web Services (Amazon) 服务 Amazon ParallelCluster。

Amazon Auto Scaling

注意

本节仅适用于 Amazon ParallelCluster 2.11.4 及以下的版本。从 2.11.5 版开始, Amazon ParallelCluster 不支持使用。 Amazon Auto Scaling

Amazon Auto Scaling 是一项监控您的应用程序并根据您的特定和不断变化的服务要求自动调整容量的服务。该服务以 Auto Scaling 组的形式管理您的 ComputeFleet 实例。该组可以由不断变化的工作负载弹性驱动,也可以由初始实例配置静态固定。

Amazon Auto Scaling 用于 ComputeFleet 实例,但不适用于 Amazon Batch 集群。

有关的更多信息 Amazon Auto Scaling,请参见https://aws.amazon.com/autoscaling/https://docs.aws.amazon.com/autoscaling/

Amazon Batch

Amazon Batch 是一项 Amazon 托管作业调度器服务。它可以动态配置集群中计算资源的最佳数量和类型(例如,CPU或内存优化型实例)。 Amazon Batch 这些资源是根据批处理作业的特定要求(包括卷要求)预置的。使用 Amazon Batch,您无需安装或管理额外的批处理计算软件或服务器集群即可有效地运行作业。

Amazon Batch 仅与 Amazon Batch 群集一起使用。

有关的更多信息 Amazon Batch,请参见https://aws.amazon.com/batch/https://docs.aws.amazon.com/batch/

Amazon CloudFormation

Amazon CloudFormation 是一项为云环境中的第三方应用程序资源建模 Amazon 和配置的通用语言的 infrastructure-as-code服务。它是使用的主要服务 Amazon ParallelCluster。中的每个集群 Amazon ParallelCluster 都表示为一个堆栈,每个群集所需的所有资源都在 Amazon ParallelCluster Amazon CloudFormation 模板中定义。在大多数情况下, Amazon ParallelCluster CLI命令直接对应 Amazon CloudFormation 堆栈命令,例如创建、更新和删除命令。在集群内启动的实例会HTTPS调用启动集群 Amazon Web Services 区域 的 Amazon CloudFormation 终端节点。

有关的更多信息 Amazon CloudFormation,请参见https://aws.amazon.com/cloudformation/https://docs.aws.amazon.com/cloudformation/

Amazon CloudWatch

Amazon CloudWatch (CloudWatch) 是一项监控和可观察性服务,可为您提供数据和可操作的见解。这些见解可用于监控您的应用程序、响应性能变化和服务异常以及优化资源利用率。中 Amazon ParallelCluster, CloudWatch 用于仪表板,用于监视和记录 Docker 映像构建步骤和 Amazon Batch 作业输出。

在 2.10.0 Amazon ParallelCluster 版本之前 CloudWatch ,仅用于集群。 Amazon Batch

有关的更多信息 CloudWatch,请参见https://aws.amazon.com/cloudwatch/https://docs.aws.amazon.com/cloudwatch/

Amazon CloudWatch 日志

亚马逊 CloudWatch 日CloudWatch 志(日志)是亚马逊的核心功能之一 CloudWatch。您可以使用它来监控、存储、查看和搜索 Amazon ParallelCluster中使用的众多组件的日志文件。

在 2.6.0 Amazon ParallelCluster 版本之前, CloudWatch 日志仅用于集群。 Amazon Batch

有关更多信息,请参阅 与 Amazon CloudWatch 日志集成

Amazon CodeBuild

Amazon CodeBuild (CodeBuild) 是一项 Amazon 托管的持续集成服务,它符合源代码、运行测试并生成随时可以部署的软件包。中 Amazon ParallelCluster, CodeBuild 用于在创建集群时自动透明地构建 Docker 镜像。

CodeBuild 仅与 Amazon Batch 群集一起使用。

有关的更多信息 CodeBuild,请参见https://aws.amazon.com/codebuild/https://docs.aws.amazon.com/codebuild/

Amazon DynamoDB

Amazon DynamoDB (DynamoDB) 是一项快速灵活的无数据库服务。SQL它用于存储集群的最小状态信息。头节点跟踪 DynamoDB 表中的预置实例。

DynamoDB 不适用于集群。 Amazon Batch

有关 DynamoDB 的更多信息,请参阅和。https://aws.amazon.com/dynamodb/https://docs.aws.amazon.com/dynamodb/

Amazon Elastic Block Store

Amazon Elastic Block Store (AmazonEBS) 是一项高性能的块存储服务,可为共享卷提供永久存储。所有 Amazon EBS 设置都可以通过配置传递。可以将亚马逊EBS卷初始化为空,也可以从现有的亚马逊EBS快照中初始化。

有关 Amazon 的更多信息EBS,请参阅https://aws.amazon.com/ebs/https://docs.aws.amazon.com/ebs/

Amazon Elastic Compute Cloud

亚马逊弹性计算云 (AmazonEC2) 为提供计算容量 Amazon ParallelCluster。头节点和计算节点是 Amazon EC2 实例。HVM可以选择支持的任何实例类型。头节点和计算节点可以是不同的实例类型。此外,如果使用多个队列,则部分或全部计算节点也可以作为竞价型实例启动。在实例上找到的实例存储卷将作为条带LVM卷装载。

有关 Amazon 的更多信息EC2,请参阅https://aws.amazon.com/ec2/https://docs.aws.amazon.com/ec2/

Amazon Elastic Container Registry

Amazon Elastic Container Registry(亚马逊ECR)是一个完全托管的 Docker 容器注册表,可轻松存储、管理和部署 Docker 容器镜像。在中 Amazon ParallelCluster,Amazon ECR 存储了创建集群时生成的 Docker 镜像。然后,使用 Docker 镜像为提交的作业运行容器。 Amazon Batch

Amazon ECR 仅用于 Amazon Batch 集群。

有关更多信息,请参阅https://aws.amazon.com/ecr/https://docs.aws.amazon.com/ecr/

Amazon EFS

Amazon Elastic File System (AmazonEFS) 提供了一个简单、可扩展且完全托管的弹性NFS文件系统,用于 Amazon Web Services 云 服务和本地资源。EFSAmazon 在指定efs_settings设置时使用,并且指的是某个[efs]部分。在 2.1.0 Amazon ParallelCluster 版本中增加了EFS对亚马逊的支持。

有关 Amazon 的更多信息EFS,请参阅https://aws.amazon.com/efs/https://docs.aws.amazon.com/efs/

亚马逊 f FSx or Lustre

FSxfor Lustre 提供了一个使用开源 Lustre 文件系统的高性能文件系统。FSxfor Lustre 在指定fsx_settings设置时使用,并且指的是某个[fsx]部分。在 2.2.1 Amazon ParallelCluster 版本中增加了对 Lustre 的支持。FSx

有关 Lustre FSx 的更多信息,请参阅 lust https://aws.amazon.com/fsx/re/ 和https://docs.aws.amazon.com/fsx/

Amazon Identity and Access Management

Amazon Identity and Access Management (IAM) 在中 Amazon ParallelCluster 用于为 Amazon EC2 提供特定于每个集群的实例的最低权限IAM角色。 Amazon ParallelCluster 实例只能访问部署和管理集群所需的特定API调用。

对于 Amazon Batch 集群,还会在创建集群时为与 Docker 镜像构建过程相关的组件创建IAM角色。这些组件包括允许在亚马逊存储库中添加和删除 Docker 镜像的 Lambda 函数。ECR它们还包括允许删除为集群和 CodeBuild 项目创建的 Amazon S3 存储桶的功能。还有 Amazon Batch 资源、实例和作业的角色。

有关的更多信息IAM,请参见https://aws.amazon.com/iam/https://docs.aws.amazon.com/iam/

Amazon Lambda

Amazon Lambda (Lambda) 运行编排 Docker 镜像创建的函数。Lambda 还管理自定义集群资源的清理,例如存储在亚马逊ECR存储库和亚马逊 S3 上的 Docker 镜像。

有关 Lambda 的更多信息,请参阅https://aws.amazon.com/lambda/和。https://docs.aws.amazon.com/lambda/

Amazon DCV

Amazon DCV 是一种高性能远程显示协议,它提供了一种在不同网络条件下将远程桌面和应用程序流传输到任何设备的安全方式。DCVAmazon 在指定dcv_settings设置时使用,并且指的是某个[dcv]部分。2.5.0 Amazon ParallelCluster 版本中增加了DCV对亚马逊的支持。

有关 Amazon 的更多信息DCV,请参阅 https://aws.amazon.com/hpc/dcv/ 和https://docs.aws.amazon.com/dcv/

Amazon Route 53

Amazon Route 53 (Route 53) 用于使用每个计算节点的主机名和完全限定域名创建托管区。

有关 Route 53 的更多信息,请参阅https://aws.amazon.com/route53/https://docs.aws.amazon.com/route53/

Amazon Simple Notification Service

注意

本节仅适用于 Amazon ParallelCluster 2.11.4 及以下的版本。从版本 2.11.5 开始, Amazon ParallelCluster 不支持使用 Amazon Simple Notification Service。

亚马逊简单通知服务(亚马逊SNS)接收来自 Auto Scaling 的通知。这些事件称为生命周期事件,它们是当实例在自动扩缩组中启动或终止时生成的。在内 Amazon ParallelCluster,Auto Scaling 群组的亚马逊SNS主题已订阅到亚马逊SQS队列。

Amazon SNS 不适用于 Amazon Batch 集群。

有关 Amazon 的更多信息SNS,请参阅https://aws.amazon.com/sns/https://docs.aws.amazon.com/sns/

Amazon Simple Queue Service

注意

本节仅适用于 Amazon ParallelCluster 2.11.4 及以下的版本。从版本 2.11.5 开始, Amazon ParallelCluster 不支持使用 Amazon Simple Queue Service。

亚马逊简单队列服务 (AmazonSQS) 保存从 Auto Scaling 发送的通知SNS、通过亚马逊发送的通知以及从计算节点发送的通知。Ama SQS zon 将发送通知与接收通知分开。这使头节点能够通过轮询过程处理通知。在此过程中,头节点运行 Amazon SQSwatcher 并轮询队列。自动扩缩和计算节点向该队列发布消息。

Amazon SQS 不适用于 Amazon Batch 集群。

有关 Amazon 的更多信息SQS,请参阅https://aws.amazon.com/sqs/https://docs.aws.amazon.com/sqs/

Amazon Simple Storage Service

亚马逊简单存储服务 (Amazon S3) Service 存储的模板位于 Amazon ParallelCluster 每个服务中。 Amazon Web Services 区域 Amazon ParallelCluster 可以配置为允许CLI/SDK工具使用 Amazon S3。

当您使用 Amazon Batch 集群时,将使用您账户中的 Amazon S3 存储桶来存储相关数据。例如,该存储桶会存储根据提交的作业创建 Docker 映像和脚本时创建的构件。

有关更多信息,请参阅https://aws.amazon.com/s3/https://docs.aws.amazon.com/s3/

Amazon VPC

Amazon VPC 定义了您的集群中节点使用的网络。集群的VPC设置在[vpc]部分中定义。

有关 Amazon 的更多信息VPC,请参阅https://aws.amazon.com/vpc/https://docs.aws.amazon.com/vpc/