SharedStorage 部分 - Amazon ParallelCluster
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

SharedStorage 部分

(可选)集群的共享存储设置。最多可以指定 5 个 Amazon EBS、1 个 Amazon EFS 和 1 个用于 Lustre 文件系统的 FSx。

注意

如果Amazon Batch用作调度程序,只能在群集头节点上使用 FSx for Lustre。

SharedStorage: - MountDir: string Name: string StorageType: Ebs EbsSettings: VolumeType: string Iops: integer Size: integer Encrypted: boolean KmsKeyId: string SnapshotId: string Throughput: integer VolumeId: string DeletionPolicy: string Raid: Type: string NumberOfVolumes: integer - MountDir: string Name: string StorageType: Efs EfsSettings: ThroughputMode: string ProvisionedThroughput: integer Encrypted: boolean KmsKeyId: string PerformanceMode: string FileSystemId: string - MountDir: string Name: string StorageType: FsxLustre FsxLustreSettings: StorageCapacity: integer DeploymentType: string ImportedFileChunkSize: integer DataCompressionType: string ExportPath: string ImportPath: string WeeklyMaintenanceStartTime: string AutomaticBackupRetentionDays: integer CopyTagsToBackups: boolean DailyAutomaticBackupStartTime: string PerUnitStorageThroughput: integer BackupId: string KmsKeyId: string FileSystemId: string AutoImportPolicy: string DriveCacheType: string StorageType: string

更新策略:可以在更新期间更改此设置。

SharedStorage属性

MountDir(必需String

在其中挂载共享存储的路径。

更新策略:如果更改此设置,则不允许进行更新。

Name(必需String

共享存储的名称。更新设置时使用此名称。

更新策略:如果更改此设置,则不允许进行更新。

StorageType(必需String

共享存储的类型。支持的值有 EbsEfsFsxLustre

注意

如果Amazon Batch用作调度程序,只能在群集头节点上使用 FSx for Lustre。

更新策略:如果更改此设置,则不允许进行更新。

EbsSettings

(可选)Amazon EBS 卷的设置。

EbsSettings: VolumeType: string Iops: integer Size: integer Encrypted: boolean KmsKeyId: string SnapshotId: string VolumeId: string Throughput: integer DeletionPolicy: string Raid: Type: string NumberOfVolumes: integer

更新策略:更新期间不会分析此设置。

EbsSettings属性

VolumeType(可选String

指定Amazon EBS 卷类型. 支持的值为gp2gp3io1io2sc1st1, 和standard. 原定设置值为 gp2

有关更多信息,请参阅 Amazon EC2 用户指南(适用于 Linux 实例) 中的 Amazon EBS 卷类型

更新策略:如果更改此设置,则不允许进行更新。

Iops(可选Integer

定义 IOPS 数io1io2, 和gp3键入卷。

默认值、支持的值和volume_iopsvolume_size根据不同的比率VolumeTypeSize.

VolumeType = io1

默认值Iops= 100

支持的值Iops= 100—64000 †

最高volume_iopsvolume_size比率 = 每 GiB 50 IOPS。5000 IOPS 需要volume_size至少 100 GiB。

VolumeType = io2

默认值Iops= 100

支持的值Iops= 100—64000 (256000)io2Block Express 卷)†

最高IopsSize比率 = 每 GiB 500 IOPS。5000 IOPS 需要Size至少 10 GiB。

VolumeType = gp3

默认值Iops= 3000

支持的值Iops= 3000—16000

最高IopsSize比率 = 每 GiB 500 IOPS。5000 IOPS 需要Size至少 10 GiB。

† 最大 IOPS 仅在基于 Nitro 系统构建的实例配置超过 32,000 的 IOPS。其他实例保证最高为 32000 个 IOPS。较早io1除非您的卷可能无法实现完全性能修改卷.io2 Block Express 卷支持volume_iops价值高达 256000R5b实例类型。有关更多信息,请参阅 。io2Block Express 卷中的适用于 Linux 实例的 Amazon EC2 用户指南.

更新策略:可以在更新期间更改此设置。

Size(可选Integer

指定卷大小(以 GiB 为单位)。默认值为 35。

更新策略:如果更改此设置,则不允许进行更新。

Encrypted(可选Boolean

指定卷是否加密。原定设置值为 true

更新策略:如果更改此设置,则不允许进行更新。

KmsKeyId(可选String

指定要用于加密的自定义 Amazon KMS 密钥。此设置要求Encrypted设置已设置为true.

更新策略:如果更改此设置,则不允许进行更新。

SnapshotId(可选String

如果将快照用作卷的源,则指定 Amazon EBS 快照 ID。

更新策略:如果更改此设置,则不允许进行更新。

VolumeId(可选String

指定 Amazon EBS 卷 ID。如果为EbsSettings例如,只有MountDir也可以指定参数。

更新策略:如果更改此设置,则不允许进行更新。

Throughput(必需Integer

为卷预置的吞吐量(以 MiB/s 为单位),最大值为 1,000 MiB/s。

此设置仅在VolumeTypegp3. 支持的范围为 125 到 1000,默认值为 125。

更新策略:可以在更新期间更改此设置。

DeletionPolicy(必需String

指定在删除群集时是应保留、删除还是快照卷。支持的值为:DeleteRetain, 和Snapshot. 原定设置值为 Delete

更新策略:可以在更新期间更改此设置。

Raid

(可选)定义 RAID 卷的配置。

Raid: Type: string NumberOfVolumes: integer

更新策略:如果更改此设置,则不允许进行更新。

Raid属性

Type(必需String

定义 RAID 阵列的类型。支持的值为 “0"(条带)和 “1”(镜像)。

更新策略:如果更改此设置,则不允许进行更新。

NumberOfVolumes(可选Integer

定义要用于创建 RAID 阵列的 Amazon EBS 卷的数量。支持的值范围为 2-5。默认值(当Raid设置已定义)为 2。

更新策略:如果更改此设置,则不允许进行更新。

EfsSettings

(可选)Amazon EFS 文件系统的设置。

EfsSettings: Encrypted: boolean KmsKeyId: string PerformanceMode: string ThroughputMode: string ProvisionedThroughput: integer FileSystemId: string

更新策略:如果更改此设置,则不允许进行更新。

EfsSettings属性

Encrypted(可选Boolean

指定是否对 Amazon EFS 文件系统加密。原定设置值为 false

更新策略:如果更改此设置,则不允许进行更新。

KmsKeyId(可选String

指定要用于加密的自定义 Amazon KMS 密钥。此设置要求Encrypted设置已设置为true.

更新策略:如果更改此设置,则不允许进行更新。

PerformanceMode(可选String

指定 Amazon EFS 文件系统的性能模式。支持的值为 generalPurposemaxIO。原定设置值为 generalPurpose。有关更多信息,请参阅 。性能模式中的Amazon Elastic File System 用户指南.

对于大多数文件系统,我们推荐使用 generalPurpose 性能模式。

使用 maxIO 性能模式的文件系统可以扩展到更高级别的聚合吞吐量和每秒操作数。但是,对于大多数文件操作来说,代价是稍高的延迟。

更新策略:如果更改此设置,则不允许进行更新。

ThroughputMode(可选String

指定 Amazon EFS 文件系统的吞吐量模式。支持的值为 burstingprovisioned。原定设置值为 bursting。何时provisioned被使用了,ProvisionedThroughput必须指定。

更新策略:可以在更新期间更改此设置。

ProvisionedThroughput(必需什么时候ThroughputModeprovisionedInteger

定义 Amazon EFS 文件系统的预配置吞吐量(以 MiB/s 为单位),以 MiB/s 为单位。这对应于ProvisionedThroughputInMibps中的参数Amazon EFS API 参考.

如果您使用了此参数,则必须将 ThroughputMode 设置为 provisioned

支持的范围是1-1024. 要请求提高限制,请联系 Amazon Web Services Support。

更新策略:可以在更新期间更改此设置。

FileSystemId(可选String

为现有文件系统定义 Amazon EFS 文件系统 ID。

当指定这个时,只有MountDir可以指定。没有其他EfsSettings可以指定。

如果设置此选项,则它仅支持文件系统:

  • 堆栈的可用区中没有装载目标

    OR

  • 堆栈的可用区域中有一个现有的挂载目标,允许来自 0.0.0.0/0 的入站和出站 NFS 流量

更新策略:如果更改此设置,则不允许进行更新。

FsxLustreSettings

(可选)FSx 用于 Lustre 文件系统的设置。

FsxLustreSettings: StorageCapacity: integer DeploymentType: string ImportedFileChunkSize: integer DataCompressionType: string ExportPath: string ImportPath: string WeeklyMaintenanceStartTime: string AutomaticBackupRetentionDays: integer CopyTagsToBackups: boolean DailyAutomaticBackupStartTime: string PerUnitStorageThroughput: integer BackupId: string # BackupId cannot coexist with some of the fields KmsKeyId: string FileSystemId: string # FileSystemId cannot coexist with other fields AutoImportPolicy: string DriveCacheType: string StorageType: string

更新策略:可以在更新期间更改此设置。

注意

如果Amazon Batch用作调度程序,只能在群集头节点上使用 FSx for Lustre。

FsxLustreSettings属性

StorageCapacity(必需Integer

为 Lustre 文件系统设置 FSx 的存储容量(以 GiB 为单位)。StorageCapacity如果要创建新的文件系统,则是必需的。请勿包括StorageCapacity如果BackupId要么FileSystemId已指定。

  • 对于 SCRATCH_2PERSISTENT_1 部署类型,有效值为 1200 GiB、2400 GiB,并以 2400 GiB 为增量。

  • 对于 SCRATCH_1 部署类型,有效值为 1200 GiB、2400 GiB,并以 3600 GiB 为增量。

更新策略:如果更改此设置,则不允许进行更新。

DeploymentType(可选String

指定用于 Lustre 文件系统的 FSx 的部署类型。支持的值有 SCRATCH_1SCRATCH_2PERSISTENT_1。原定设置值为 SCRATCH_1

当您需要临时存储和短期处理数据时,请选择 SCRATCH_1SCRATCH_2 部署类型。SCRATCH_2 部署类型提供了数据的传输中加密,以及比 SCRATCH_1 更高的突发吞吐量容量。

为长期存储和工作负载以及传输中的数据加密选择 PERSISTENT_1 部署类型。有关部署类型的更多信息,请参阅FSx for Lustre 部署选项中的Amazon FSx for Lustre.

当您从支持此功能的 Amazon EC2 实例访问 SCRATCH_2PERSISTENT_1 文件系统时,系统会自动启用传输中数据加密功能。(默认值 = SCRATCH_1

对传输中的数据进行加密SCRATCH_2PERSISTENT_1从受支持的支持实例类型进行访问时,支持部署类型。Amazon Web Services 区域. 要了解更多信息,对传输中的数据加密中的Amazon FSx for Lustre.

更新策略:如果更改此设置,则不允许进行更新。

ImportedFileChunkSize(可选Integer

对于从数据存储库导入的文件,此值决定单个物理磁盘上存储的每个文件的条带计数和最大数据量 (MiB)。可以对单个文件进行条带化的最大磁盘数受构成文件系统的总磁盘数限制。

默认区块大小为 1024 MiB (1 GiB),最大值能够达到 512000 MiB (500 GiB)。Amazon S3 数据元的最大大小为 5 TB。

更新策略:如果更改此设置,则不允许进行更新。

DataCompressionType(可选String

为 Lustre 文件系统设置 FSx 的数据压缩配置。支持的值为LZ4,表示使用 LZ4 算法启用了数据压缩。何时DataCompressionType未指定,则在创建文件系统时关闭数据压缩。

有关更多信息,请参阅 。光泽数据压缩.

更新策略:可以在更新期间更改此设置。

ExportPath(可选String

在其中导出您的 FSx for Lustre 文件系统的根的 Amazon S3 路径。该设置仅在ImportPath已指定参数。该路径必须使用中指定的相同 Amazon S3 存储桶。ImportPath. 您可以提供一个可选前缀,将从 FSx for Lustre 文件系统导出新数据和更改数据。如果ExportPath未提供值,FSx for Lustre 设置默认导出路径,s3://import-bucket/FSxLustre[creation-timestamp]. 此时间戳采用 UTC 格式,例如 s3://import-bucket/FSxLustre20181105T222312Z

Amazon S3 导出存储桶必须与 ImportPath 指定的导入存储段相同。如果您只指定存储桶名称,例如s3://import-bucket,您将获得文件系统对象与 Amazon S3 存储桶对象的 1:1 映射。此映射意味着 Amazon S3 中的输入数据会在导出时被覆盖。如果在导出路径中提供自定义前缀,例如s3://import-bucket/[custom-optional-prefix],FSx for Lustre 会将文件系统的内容导出到使用 Amazon S3 存储桶中的导出前缀的路径。

更新策略:如果更改此设置,则不允许进行更新。

ImportPath(可选String

您正在用作 FSx for Lustre 文件系统的数据存储库的 Amazon S3 存储桶的路径(包括可选前缀)。FSx for Lustre 文件系统的根目录将映射到您选择的 Amazon S3 存储桶的根目录。示例是 s3://import-bucket/optional-prefix。如果您在 Amazon S3 存储桶名称后指定了前缀,则只将具有该前缀的对象键加载到文件系统。

更新策略:如果更改此设置,则不允许进行更新。

WeeklyMaintenanceStartTime(可选String

采用格式化的每周维护的首选开始时间"d:HH:MM"在 UTC 时区,其中d从 1 到 7 的工作日编号,从星期一开始,到星期日结束。此文件需要双引号。

更新策略:可以在更新期间更改此设置。

AutomaticBackupRetentionDays(可选Integer

保留自动备份的天数。将此值设置为 0 将禁用自动备份。支持的范围为 0-90。默认值为 0。仅适用于 PERSISTENT_1 部署类型。有关更多信息,请参阅 。使用备份中的Amazon FSx for Lustre.

更新策略:可以在更新期间更改此设置。

CopyTagsToBackups(可选Boolean

如果true,应将 FSx for Lustre 文件系统的标签复制到备份。此值默认为 false。如果设置为true,则会将文件系统的所有标签复制到用户未指定标记的所有自动和用户启动的备份。如果此值是true,然后指定一个或多个标签,则仅将指定的标签复制到备份。如果您在创建用户启动的备份时指定了一个或多个标签,则不会从文件系统复制任何标签,无论此值如何。仅适用于 PERSISTENT_1 部署类型。

更新策略:如果更改此设置,则不允许进行更新。

DailyAutomaticBackupStartTime(可选String

每日经常出现的时间,格式为HH:MM.HH是一天中的零填充小时(00-23),并且MM是小时中的零填充分钟 (00-59)。例如,05:00指定每天凌晨 5 点。仅适用于 PERSISTENT_1 部署类型。

更新策略:可以在更新期间更改此设置。

PerUnitStorageThroughput(对于 是必需的PERSISTENT_1部署类型Integer

描述每 1 TiB 存储的读取和写入吞吐量(以 MB/s/TiB 为单位)。文件系统吞吐量是将通过文件系统存储容量 (TiB) 乘以 PerUnitStorageThroughput (MB/s/TiB) 计算得出的。对于 2.4 TiB 文件系统,预配置 50 MB/s/TiB 的 PerUnitStorageThroughput 将得到 120 MB/s 的文件系统吞吐量。您需要为预配置的吞吐量付费。这对应于PerUnitStorageThroughput财产。

可能的值取决于StorageType设置设置。

StorageType = SSD

可能的值为 50、100、200。

StorageType = HDD

可能的值为 12,40。

更新策略:如果更改此设置,则不允许进行更新。

BackupId(可选String

指定用于从现有备份还原 FSx for Lustre 文件系统的备份 ID。当BackupId设置已指定,AutoImportPolicyDeploymentTypeExportPathKmsKeyIdImportPathImportedFileChunkSizeStorageCapacity, 和PerUnitStorageThroughput不能指定设置。从备份还原这些设置。此外,AutoImportPolicyExportPathImportPath, 和ImportedFileChunkSize不能指定设置。这对应于BackupId财产。

更新策略:如果更改此设置,则不允许进行更新。

KmsKeyId(可选String

的 IDAmazon Key Management Service(Amazon KMS) 用于静态加密 FSx 的 Lustre 文件系统数据的 FSx,以获得持久性 FSx for Lustre 文件系统的数据。如果未指定,则使用 FSx for Lustre 托管密钥。这些区域有:SCRATCH_1SCRATCH_2用于 Lustre 托管密钥的 FSx 始终使用 FSx for Lustre 文件系统静态加密。有关更多信息,请参阅 。Encrypt中的Amazon Key Management ServiceAPI 参考.

更新策略:如果更改此设置,则不允许进行更新。

FileSystemId(可选String

指定 Lustre 文件系统的现有 FSx 的 ID。

如果指定了此选项,则仅使用 FsxLustreSettings中的 MountDirFileSystemId 设置,并忽略 FsxLustreSettings 中的任何其他设置。

更新策略:如果更改此设置,则不允许进行更新。

AutoImportPolicy(可选String

在为 Lustre 文件系统创建 FSx 时,现有 Amazon S3 对象将显示为文件和目录列表。使用此属性可以选择 FSx for Lustre 如何在链接的 Amazon S3 存储桶中添加或修改对象时使您的文件和目录列表保持最新状态。AutoImportPolicy可以具有以下值:

  • NEW-自动导入已启用。FSx for Lustre 会自动导入添加到链接 Amazon S3 存储桶中但当前不存在 FSx for Lustre 文件系统中的任何新对象的目录列表。

  • NEW_CHANGED-自动导入已启用。在您选择此选项后,FSx for Lustre 会自动导入添加到 Amazon S3 存储桶的任何新对象的文件和目录列表,以及在 Amazon S3 存储桶中更改的任何现有对象。

  • NEW_CHANGED_DELETED-自动导入已启用。在您选择此选项后,FSx for Lustre 会自动导入添加到 Amazon S3 存储桶的任何新对象、在 Amazon S3 存储桶中更改的任何现有对象以及在 Amazon S3 存储桶中删除的任何对象的文件和目录列表。

    注意

    对该项的支持NEW_CHANGED_DELETED添加了Amazon ParallelCluster版本 3.1.1。

如果AutoImportPolicy未指定,自动导入已关闭。FSx for Lustre 仅在创建文件系统时更新链接的 Amazon S3 存储桶中的文件和目录列表。选择此选项后,FSx for Lustre 不会更新任何新对象或更改对象的文件和目录列表。

有关更多信息,请参阅 。从 S3 存储桶自动导入更新中的Amazon FSx for Lustre.

更新策略:如果更改此设置,则不允许进行更新。

DriveCacheType(可选String

指定文件系统具有 SSD 驱动器缓存。只有在StorageType设置已设置为HDD,以及DeploymentType设置已设置为PERSISTENT_1. 这对应于DriveCache类型财产。有关更多信息,请参阅 。FSx for Lustre 部署选项中的Amazon FSx for Lustre.

唯一有效值为 READ。要禁用 SSD 驱动器缓存,请不要指定DriveCacheType设置设置。

更新策略:如果更改此设置,则不允许进行更新。

StorageType(可选String

为您正在创建的 Lustre 文件系统设置 FSx 的存储类型。有效值为 SSDHDD

  • 设置为 SSD 以使用固态驱动器存储。

  • 设置为HDD以使用硬盘驱动器存储。HDD支持PERSISTENT部署类型。

原定设置值为 SSD。有关更多信息,请参阅 。存储类型选项中的Amazon FSx for Windows 用户指南多种存储选项中的Amazon FSx for Lustre.

更新策略:如果更改此设置,则不允许进行更新。