SharedStorage 部分 - Amazon ParallelCluster
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

SharedStorage 部分

(可选)集群的共享存储设置。

Amazon ParallelCluster 支持使用 Amazon EBS、用于 ONTAP 的 FSx 和 OpenZ FS 共享存储卷的 FSX、用于Lustre 共享存储文件系统的亚马逊 EF S 和 FS X 或者文件缓存。

SharedStorage 部分中,您可以定义外部存储或托管存储:

  • 外部存储是指您管理的现有卷或文件系统。 Amazon ParallelCluster 不会创建或删除它。

  • Amazon ParallelCluster 托管存储是指 Amazon ParallelCluster 创建并可以删除的卷或文件系统。

有关共享存储配额以及有关配置共享存储的更多信息,请参阅使用 Amazon ParallelCluster 中的共享存储

注意

如果 Amazon Batch 用作调度程序,则 FSx for Lustre 仅在群集头节点上可用。

SharedStorage: - MountDir: string Name: string StorageType: Ebs EbsSettings: VolumeType: string Iops: integer Size: integer Encrypted: boolean KmsKeyId: string SnapshotId: string Throughput: integer VolumeId: string DeletionPolicy: string Raid: Type: string NumberOfVolumes: integer - MountDir: string Name: string StorageType: Efs EfsSettings: Encrypted: boolean KmsKeyId: string EncryptionInTransit: boolean IamAuthorization: boolean PerformanceMode: string ThroughputMode: string ProvisionedThroughput: integer FileSystemId: string DeletionPolicy: string - MountDir: string Name: string StorageType: FsxLustre FsxLustreSettings: StorageCapacity: integer DeploymentType: string ImportedFileChunkSize: integer DataCompressionType: string ExportPath: string ImportPath: string WeeklyMaintenanceStartTime: string AutomaticBackupRetentionDays: integer CopyTagsToBackups: boolean DailyAutomaticBackupStartTime: string PerUnitStorageThroughput: integer BackupId: string KmsKeyId: string FileSystemId: string AutoImportPolicy: string DriveCacheType: string StorageType: string DeletionPolicy: string DataRepositoryAssociations: - Name: string BatchImportMetaDataOnCreate: boolean DataRepositoryPath: string FileSystemPath: string ImportedFileChunkSize: integer AutoExportPolicy: string AutoImportPolicy: string - MountDir: string Name: string StorageType: FsxOntap FsxOntapSettings: VolumeId: string - MountDir: string Name: string StorageType: FsxOpenZfs FsxOpenZfsSettings: VolumeId: string - MountDir: string Name: string StorageType: FileCache FileCacheSettings: FileCacheId: string

SharedStorage更新政策

SharedStorage 属性

MountDir必需String

共享存储的挂载路径。

更新策略:如果更改此设置,则不允许更新。

Name必需String

共享存储的名称。可以在更新设置时使用此名称。

警告

如果您指定了 Amazon ParallelCluster 托管共享存储,并且更改了的值Name,则会删除现有的托管共享存储和数据,并创建新的托管共享存储。通过集群更新来更改 Name 的值等同于用新的托管共享存储替换现有的托管共享存储。如果您需要保留现有共享存储中的数据,请确保在更改 Name 之前备份数据。

更新策略:对于此列表值设置,必须停止计算实例集或必须设置 QueueUpdateStrategy 才能添加新值;删除现有值时必须停止计算实例集。

StorageType必需String

共享存储的类型。支持的值为 EbsEfsFsxLustreFsxOntapFsxOpenZfs

有关更多信息,请参阅 FsxLustreSettingsFsxOntapSettingsFsxOpenZfsSettings

注意

如果您 Amazon Batch 用作调度程序,则 FSx for Lustre 仅在群集头节点上可用。

更新策略:如果更改此设置,则不允许更新。

EbsSettings

(可选)Amazon EBS 卷的设置。

EbsSettings: VolumeType: string Iops: integer Size: integer Encrypted: boolean KmsKeyId: string SnapshotId: string VolumeId: string Throughput: integer DeletionPolicy: string Raid: Type: string NumberOfVolumes: integer

更新策略:如果更改此设置,则不允许更新。

EbsSettings 属性

当设置DeletionPolicy为时Delete,如果集群被删除或通过群集更新移除该卷,则该托管卷及其数据将被删除。

有关更多信息,请参阅使用 Amazon ParallelCluster 中的共享存储

VolumeType可选String

指定 Amazon EBS 卷类型。支持的值为 gp2gp3io1io2sc1st1standard。默认值为 gp3

有关更多信息,请参阅 Amazon EC2 用户指南(适用于 Linux 实例)中的 Amazon EBS 卷类型

更新策略:如果更改此设置,则不允许更新。

Iops可选Integer

定义 io1io2gp3 类型卷的 IOPS 数。

默认值、支持的值以及 volume_size/volume_iops 比率因 VolumeTypeSize 而异。

VolumeType = io1

默认值:Iops = 100

支持的值:Iops = 100–64000 †

最大 volume_iops/volume_size 比率 = 50 IOPS/GiB。5000 IOPS 需要至少 100 GiB 的 volume_size

VolumeType = io2

默认值:Iops = 100

支持的值:Iops = 100–64000(io2 Block Express 卷为 256000)†

最大 Iops/Size 比率 = 500 IOPS/GiB。5000 IOPS 需要至少 10 GiB 的 Size

VolumeType = gp3

默认值:Iops = 3000

支持的值:Iops = 3000–16000

最大 Iops/Size 比率 = 500 IOPS/GiB。5000 IOPS 需要至少 10 GiB 的 Size

† 只有在 Nitro System 上构建的实例配置超过 32000 IOPS 时,才能保证最大 IOPS。其他实例保证最高为 32000 IOPS。除非您修改卷,否则较早的 io1 卷可能无法实现完全性能。io2Block Express 卷在 R5b 实例类型上支持高达 256000 的 volume_iops 值。有关更多信息,请参阅 Amazon EC2 用户指南(适用于 Linux 实例)中的 io2Block Express 卷

更新策略:可以在更新期间更改此设置。

Size可选Integer

指定卷大小,以吉字节 (GiB) 为单位。默认值为 35。

更新策略:如果更改此设置,则不允许更新。

Encrypted可选Boolean

指定是否对卷进行加密。默认值为 true

更新策略:如果更改此设置,则不允许更新。

KmsKeyId可选String

指定用于加密的自定义 Amazon KMS 密钥。此设置要求将 Encrypted 设置设为 true

更新策略:如果更改此设置,则不允许更新。

SnapshotId可选String

指定 Amazon EBS 快照 ID(如果使用快照作为卷的来源)。

更新策略:如果更改此设置,则不允许更新。

VolumeId可选String

指定 Amazon EBS 卷 ID。为 EbsSettings 实例指定此参数后,还可以并且只能指定 MountDir 参数。

必须在 HeadNode 所在的同一可用区中创建卷。

注意

3.4.0 Amazon ParallelCluster 版本中添加了多个可用区。

更新策略:如果更改此设置,则不允许更新。

Throughput可选Integer

为卷预置的吞吐量,以 MiB/s 为单位,最大值为 1000 MiB/s。

此设置仅在 VolumeTypegp3 时有效。支持的范围为 125 到 1000,默认值为 125。

更新策略:可以在更新期间更改此设置。

DeletionPolicy可选String

指定删除集群或删除卷时是保留卷、删除卷还是创建快照。支持的值为 DeleteRetainSnapshot。默认值为 Delete

DeletionPolicy设置为时Delete,如果集群被删除或通过群集更新移除该卷,则该托管卷及其数据将被删除。

有关更多信息,请参阅 共享存储

更新策略:可以在更新期间更改此设置。

注意

DeletionPolicy从 3.2.0 Amazon ParallelCluster 版开始受支持。

Raid

(可选)定义 RAID 卷的配置。

Raid: Type: string NumberOfVolumes: integer

更新策略:如果更改此设置,则不允许更新。

Raid 属性

Type必需String

定义 RAID 阵列的类型。支持的值为“0”(条带)和“1”(镜像)。

更新策略:如果更改此设置,则不允许更新。

NumberOfVolumes可选Integer

定义用于创建 RAID 阵列的 Amazon EBS 卷的数量。支持的值范围为 2-5。默认值(定义了 Raid 设置时)为 2。

更新策略:如果更改此设置,则不允许更新。

EfsSettings

(可选)Amazon EFS 文件系统的设置。

EfsSettings: Encrypted: boolean KmsKeyId: string EncryptionInTransit: boolean IamAuthorization: boolean PerformanceMode: string ThroughputMode: string ProvisionedThroughput: integer FileSystemId: string DeletionPolicy: string

更新策略:如果更改此设置,则不允许更新。

EfsSettings 属性

DeletionPolicy设置为时Delete,如果删除了群集,或者如果通过群集更新删除了文件系统,则会删除托管文件系统及其数据。

有关更多信息,请参阅使用 Amazon ParallelCluster 中的共享存储

Encrypted可选Boolean

指定是否对 Amazon EFS 文件系统加密。默认值为 false

更新策略:如果更改此设置,则不允许更新。

KmsKeyId可选String

指定用于加密的自定义 Amazon KMS 密钥。此设置要求将 Encrypted 设置设为 true

更新策略:如果更改此设置,则不允许更新。

EncryptionInTransit可选Boolean

如果设置为 true,则使用传输层安全性协议 (TLS) 挂载 Amazon EFS 文件系统。默认情况下,该选项设置为 false

注意

Amazon Batch 如果用作调度程序,则EncryptionInTransit不支持。

注意

从 Amazon ParallelCluster 版本 3.4.0 开始添加了 EncryptionInTransit

更新策略:如果更改此设置,则不允许更新。

IamAuthorization可选Boolean

如果设置为 true,则使用系统的 IAM 身份对 Amazon EFS 进行身份验证。默认情况下,该选项设置为 false

注意

如果 IamAuthorization 被设置为 true,则 EncryptionInTransit 也必须被设置为 true

注意

Amazon Batch 如果用作调度程序,则IamAuthorization不支持。

注意

IamAuthorization是从 3.4.0 Amazon ParallelCluster 版本开始添加的。

更新策略:如果更改此设置,则不允许更新。

PerformanceMode可选String

指定 Amazon EFS 文件系统的性能模式。支持的值为 generalPurposemaxIO。默认值为 generalPurpose。有关更多信息,请参阅 Amazon Elastic File System User Guide 中的 Performance modes

对于大多数文件系统,我们推荐使用 generalPurpose 性能模式。

使用 maxIO 性能模式的文件系统可以扩展到更高级别的聚合吞吐量和每秒操作数。但是,对于大多数文件操作来说,代价是稍高的延迟。

更新策略:如果更改此设置,则不允许更新。

ThroughputMode可选String

指定 Amazon EFS 文件系统的吞吐量模式。支持的值为 burstingprovisioned。默认值为 bursting。使用 provisioned 时,必须指定 ProvisionedThroughput

更新策略:可以在更新期间更改此设置。

ProvisionedThroughputThroughputModeprovisioned必需Integer

定义 Amazon EFS 文件系统的预置吞吐量,以 MiB/s 为单位。这与《亚马逊 EFS API 参考》中的ProvisionedThroughputInMibps参数相对应。

如果您使用了此参数,则必须将 ThroughputMode 设置为 provisioned

支持的范围是 1-1024。要请求提高限制,请联系 Amazon Web Services Support。

更新策略:可以在更新期间更改此设置。

FileSystemId可选String

为现有文件系统定义 Amazon EFS 文件系统 ID。

如果集群配置为跨越多个可用区,则必须在集群使用的每个可用区中定义一个文件系统挂载目标。

指定了此参数时,只能指定 MountDir。不能指定其他 EfsSettings

如果设置此选项,则定义的文件系统必须符合以下要求:
  • 文件系统必须在集群的每个可用区中具有现有的挂载目标,允许来自 HeadNodeComputeNodes 的入站和出站 NFS 流量。在计划//网络 SlurmQueues/中配置了多个可用区SubnetIds

    为确保允许集群和文件系统之间的流量,您可以执行以下操作之一:
    • 配置挂载目标的安全组以允许进出集群子网的 CIDR 或前缀列表的流量。

      注意

      Amazon ParallelCluster 验证端口是否已打开以及 CIDR 或前缀列表是否已配置。 Amazon ParallelCluster 不验证 CIDR 块或前缀列表的内容。

    • 通过使用 SlurmQueues/Networking/SecurityGroupsHeadNode/Networking/SecurityGroups,设置集群节点的自定义安全组。必须将自定义安全组配置为允许集群和文件系统之间的流量。

      注意

      如果所有集群节点都使用自定义安全组,则 Amazon ParallelCluster 仅验证端口是否已打开。 Amazon ParallelCluster 无法验证源和目标的配置是否正确。

警告

OneZone 只有当所有计算节点和头节点都位于同一个可用区时,才支持 EFS。EFS OneZone 只能有一个挂载目标。

注意

3.4.0 Amazon ParallelCluster 版本中添加了多个可用区。

更新策略:如果更改此设置,则不允许更新。

DeletionPolicy可选String

指定从集群中删除文件系统或删除集群时,是应保留还是删除文件系统。支持的值是 DeleteRetain。默认值为 Delete

如果设置DeletionPolicyDelete,则如果删除了群集,或者如果通过群集更新删除了文件系统,则会删除托管文件系统及其数据。

有关更多信息,请参阅 共享存储

更新策略:可以在更新期间更改此设置。

注意

DeletionPolicy从 3.3.0 Amazon ParallelCluster 版开始受支持。

FsxLustreSettings

注意

如果为 StorageType 指定了 FsxLustre,则必须定义 FsxLustreSettings

(可选)FSx for Lustre 文件系统的设置。

FsxLustreSettings: StorageCapacity: integer DeploymentType: string ImportedFileChunkSize: integer DataCompressionType: string ExportPath: string ImportPath: string WeeklyMaintenanceStartTime: string AutomaticBackupRetentionDays: integer CopyTagsToBackups: boolean DailyAutomaticBackupStartTime: string PerUnitStorageThroughput: integer BackupId: string # BackupId cannot coexist with some of the fields KmsKeyId: string FileSystemId: string # FileSystemId cannot coexist with other fields AutoImportPolicy: string DriveCacheType: string StorageType: string DeletionPolicy: string

更新策略:如果更改此设置,则不允许更新。

注意

如果 Amazon Batch 用作调度程序,则 FSx for Lustre 仅在群集头节点上可用。

FsxLustreSettings 属性

如果设置DeletionPolicyDelete,则如果删除了群集,或者如果通过群集更新删除了文件系统,则会删除托管文件系统及其数据。

有关更多信息,请参阅 共享存储

StorageCapacity必需Integer

设置 FSx for Lustre 文件系统的存储容量,以 GiB 为单位。如果要创建新的文件系统,则 StorageCapacity 是必需的。如果指定了 BackupIdFileSystemId,则不要包含 StorageCapacity

  • 对于 SCRATCH_2PERSISTENT_1PERSISTENT_2 部署类型,有效值为 1200 GiB、2400 GiB,并以 2400 GiB 为增量。

  • 对于 SCRATCH_1 部署类型,有效值为 1200 GiB、2400 GiB,并以 3600 GiB 为增量。

更新策略:如果更改此设置,则不允许更新。

DeploymentType可选String

指定 FSx for Lustre 文件系统的部署类型。支持的值有 SCRATCH_1SCRATCH_2PERSISTENT_1PERSISTENT_2。默认值为 SCRATCH_2

当您需要临时存储和短期处理数据时,请选择 SCRATCH_1SCRATCH_2 部署类型。SCRATCH_2 部署类型提供了数据的传输中加密,以及比 SCRATCH_1 更高的突发吞吐能力。

对于长期存储以及侧重于吞吐量的延迟不敏感型工作负载,请选择 PERSISTENT_1 部署类型。PERSISTENT_1 支持传输中数据加密。它在所有可用 FSx for Lustre Amazon Web Services 区域 的地方都可用。

对于长期存储以及需要最高级别的 IOPS 和吞吐量的延迟敏感型工作负载,请选择 PERSISTENT_2 部署类型。PERSISTENT_2 支持 SSD 存储,并提供更高的 PerUnitStorageThroughput(最高达到 1000 MB/s/TiB)。PERSISTENT_2 适用于有限数量的 Amazon Web Services 区域。有关部署类型和可用 Amazon Web Services 区域 位置PERSISTENT_2列表的更多信息,请参阅《Amazon FSx for Lustre 用户指南》中的 FSx for Lustre 文件系统部署选项

当您从支持此功能的 Amazon EC2 实例访问 SCRATCH_2PERSISTENT_1PERSISTENT_2 部署类型文件系统时,系统会自动启用传输中数据加密功能。

从受支持的 Amazon Web Services 区域中受支持的实例类型进行访问时,支持 SCRATCH_2PERSISTENT_1PERSISTENT_2 部署类型的传输中数据加密。有关更多信息,请参阅适用于 Lustre 的 Amazon FSx 用户指南 中的加密传输中数据

注意

从 Amazon ParallelCluster 版本 3.2.0 开始添加了对 PERSISTENT_2 部署类型的支持。

更新策略:如果更改此设置,则不允许更新。

ImportedFileChunkSize可选Integer

对于从数据存储库导入的文件,此值决定单个物理磁盘上存储的每个文件的条带计数和最大数据量(以 MiB 为单位)。可以对单个文件进行条带化的最大磁盘数受构成文件系统的总磁盘数限制。

默认区块大小为 1024MiB(1GiB),最大值能够达到 512000MiB(500GiB)。Amazon S3 数据元的最大大小为 5 TB。

注意

使用 PERSISTENT_2 部署类型的文件系统不支持此参数。有关如何配置数据存储库关联的说明,请参阅 适用于 Lustre 的 Amazon FSx 用户指南 中的将您的文件系统链接到 S3 桶

更新策略:如果更改此设置,则不允许更新。

DataCompressionType可选String

设置 FSx for Lustre 文件系统的数据压缩配置。支持的值为 LZ4LZ4 指示使用 LZ4 算法开启数据压缩。如果未指定 DataCompressionType,则在创建文件系统时关闭数据压缩。

有关更多信息,请参阅 Lustre 数据压缩

更新策略:可以在更新期间更改此设置。

ExportPath可选String

在其中导出 FSx for Lustre 文件系统的根的 Amazon S3 路径。仅当指定了 ImportPath 参数时支持此设置。该路径必须使用在 ImportPath 中指定的相同 Amazon S3 存储桶。您可以为将从您的 FSx for Lustre 文件系统导出的新数据和更改数据提供可选前缀。如果未提供 ExportPath 值,FSx for Lustre 会设置默认导出路径 s3://import-bucket/FSxLustre[creation-timestamp]。此时间戳采用 UTC 格式,例如 s3://import-bucket/FSxLustre20181105T222312Z

Amazon S3 导出桶必须与 ImportPath 指定的导入桶相同。如果仅指定存储桶名称(例如 s3://import-bucket),则会获得文件系统对象与 Amazon S3 存储桶对象的 1:1 映射。此映射意味着 Amazon S3 中的输入数据会在导出时被覆盖。如果在导出路径中提供自定义前缀(例如 s3://import-bucket/[custom-optional-prefix]),FSx for Lustre 会将文件系统的内容导出到使用 Amazon S3 存储桶中的导出前缀的路径。

注意

使用 PERSISTENT_2 部署类型的文件系统不支持此参数。按照适用于 Lustre 的 Amazon FSx 用户指南 中的将您的文件系统链接到 S3 桶,配置数据存储库关联。

更新策略:如果更改此设置,则不允许更新。

ImportPath可选String

用作 FSx for Lustre 文件系统数据存储库的 Amazon S3 存储桶的路径(包括可选前缀)。FSx for Lustre 文件系统的根目录将映射到您选择的 Amazon S3 桶的根目录。例如,s3://import-bucket/optional-prefix。如果您在 Amazon S3 名称后指定了前缀,则只将具有该前缀的对象键加载到文件系统。

注意

使用 PERSISTENT_2 部署类型的文件系统不支持此参数。按照适用于 Lustre 的 Amazon FSx 用户指南 中的将您的文件系统链接到 S3 桶,配置数据存储库关联。

更新策略:如果更改此设置,则不允许更新。

WeeklyMaintenanceStartTime可选String

执行每周维护的首选开始时间。它采用 UTC+0 时区的 "d:HH:MM" 格式。对于此格式,d 是从 1 到 7 的星期几数字,从星期一开始,以星期日结束。此字段必须使用引号。

更新策略:可以在更新期间更改此设置。

AutomaticBackupRetentionDays可选Integer

保留自动备份的天数。将此值设置为 0 将禁用自动备份。支持的范围是 0-90。默认值是 0。此设置仅在与 PERSISTENT_1PERSISTENT_2 部署类型一起使用时有效。有关更多信息,请参阅 适用于 Lustre 的 Amazon FSx 用户指南 中的使用备份

更新策略:可以在更新期间更改此设置。

CopyTagsToBackups可选Boolean

如果为 true,则将 FSx for Lustre 文件系统的标签复制到备份中。此值默认为 false。如果设置为 true,则会将文件系统的所有标签复制到用户未指定标签的所有自动和用户启动的备份。如果此值为 true,并且指定了一个或多个标签,则仅将指定的标签复制到备份。如果您在创建用户启动的备份时指定了一个或多个标签,则不会从文件系统复制任何标签,无论此值如何。此设置仅在与 PERSISTENT_1PERSISTENT_2 部署类型一起使用时有效。

更新策略:如果更改此设置,则不允许更新。

DailyAutomaticBackupStartTime可选String

每天重复的时间,格式为 HH:MMHH 是一天中的零填充小时 (00-23)。MM 是小时中的零填充分钟 (00-59)。例如,05:00 指定每天上午 5 点。此设置仅在与 PERSISTENT_1PERSISTENT_2 部署类型一起使用时有效。

更新策略:可以在更新期间更改此设置。

PerUnitStorageThroughput(对 PERSISTENT_1PERSISTENT_2 部署类型为必需Integer

描述每 1 TiB 存储的读取和写入吞吐量(以 MB/s/TiB 为单位)。文件系统吞吐能力是将通过文件系统存储容量(TiB)乘以 PerUnitStorageThroughput(MB/s/TiB)计算得出的。对于 2.4 TiB 文件系统,预置 50 MB/s/TiB 的 PerUnitStorageThroughput 将得到 120 MB/s 的文件系统吞吐量。您需要为预置的吞吐量付费。这与PerUnitStorageThroughput属性相对应。

有效值:

  • PERSISTENT_1 SSD 存储:50、100、200 MB/s/TiB。

  • PERSISTENT_1 HDD 存储:12、40 MB/s/TiB。

  • PERSISTENT_2 SSD 存储:125、250、500、1000 MB/s/TiB。

更新策略:如果更改此设置,则不允许更新。

BackupId可选String

指定用于从现有备份还原 FSx for Lustre 文件系统的备份 ID。指定了 BackupId 设置时,不得指定 AutoImportPolicyDeploymentTypeExportPathKmsKeyIdImportPathImportedFileChunkSizeStorageCapacityPerUnitStorageThroughput 设置。这些设置将从备份中读取。此外,不得指定 AutoImportPolicyExportPathImportPathImportedFileChunkSize 设置。这与BackupId属性相对应。

更新策略:如果更改此设置,则不允许更新。

KmsKeyId可选String

Amazon Key Management Service (Amazon KMS) 密钥 ID,用于加密 FSx for Lustre 文件系统的数据,用于静态的 Lustre 文件系统的永久 FSx 数据。如果未指定,则使用 FSx for Lustre 托管密钥。SCRATCH_1SCRATCH_2 FSx for Lustre 文件系统始终使用 FSx for Lustre 托管密钥进行静态加密。有关更多信息,请参阅 Amazon Key Management Service API 参考 中的 Encrypt

更新策略:如果更改此设置,则不允许更新。

FileSystemId可选String

指定现有 FSx for Lustre 文件系统的 ID。

如果指定了此选项,则仅使用 FsxLustreSettings 中的 MountDirFileSystemId 设置。FsxLustreSettings 中的所有其他设置都将被忽略。

注意

如果使用 Amazon Batch 调度器,则 FSx for Lustre 仅在头节点上可用。

注意

该文件系统必须关联到通过端口 988、1021、1022 和 1023 允许入站和出站 TCP 流量的安全组。

通过执行以下操作之一,确保允许集群和文件系统之间的流量:

  • 配置文件系统的安全组以允许进出集群子网的 CIDR 或前缀列表的流量。

    注意

    Amazon ParallelCluster 验证端口是否已打开以及 CIDR 或前缀列表是否已配置。 Amazon ParallelCluster 不验证 CIDR 块或前缀列表的内容。

  • 通过使用 SlurmQueues/Networking/SecurityGroupsHeadNode/Networking/SecurityGroups,设置集群节点的自定义安全组。必须将自定义安全组配置为允许集群和文件系统之间的流量。

    注意

    如果所有集群节点都使用自定义安全组,则 Amazon ParallelCluster 仅验证端口是否已打开。 Amazon ParallelCluster 无法验证源和目标的配置是否正确。

更新策略:如果更改此设置,则不允许更新。

AutoImportPolicy可选String

创建 FSx for Lustre 文件系统时,现有 Amazon S3 对象将显示为文件和目录列表。使用此属性可以选择 FSx for Lustre 如何在链接的 Amazon S3 存储桶中添加或修改对象时使您的文件和目录列表保持最新状态。AutoImportPolicy 可以具有以下值:

  • NEW:自动导入开启。FSx for Lustre 会自动导入添加到链接 Amazon S3 存储桶中但当前不存在于 FSx for Lustre 文件系统中的任何新对象的目录列表。

  • NEW_CHANGED:自动导入开启。在您选择此选项后,FSx for Lustre 会自动导入添加到 Amazon S3 桶的任何新对象的文件和目录列表,以及在 Amazon S3 桶中更改的任何现有对象。

  • NEW_CHANGED_DELETED:自动导入开启。选择此选项后,FSx for Lustre 会自动导入添加到 Amazon S3 桶的任何新对象、在 Amazon S3 桶中更改的任何现有对象,以及在 Amazon S3 桶中被删除的任何对象的文件和目录列表。

    注意

    在 Amazon ParallelCluster 版本 3.1.1 中添加了对 NEW_CHANGED_DELETED 的支持。

如果未指定 AutoImportPolicy,则关闭自动导入。FSx for Lustre 仅在创建文件系统时更新链接的 Amazon S3 桶中的文件和目录列表。选择此选项后,FSx for Lustre 不会更新任何新对象或更改对象的文件和目录列表。

有关更多信息,请参阅适用于 Lustre 的 Amazon FSx 用户指南 中的自动从 S3 桶导入更新

注意

使用 PERSISTENT_2 部署类型的文件系统不支持此参数。有关如何配置数据存储库关联的说明,请参阅 适用于 Lustre 的 Amazon FSx 用户指南 中的将您的文件系统链接到 S3 桶

更新策略:如果更改此设置,则不允许更新。

DriveCacheType可选String

指定文件系统具有 SSD 驱动器缓存。只有将 StorageType 设置设为 HDD,且将 DeploymentType 设置设为 PERSISTENT_1,才能设置此选项。这与DriveCacheType属性相对应。有关更多信息,请参阅适用于 Lustre 的 Amazon FSx 用户指南 中的 FSx for Lustre 部署选项

唯一有效值为 READ。要禁用 SSD 驱动器缓存,请不要指定 DriveCacheType 设置。

更新策略:如果更改此设置,则不允许更新。

StorageType可选String

设置要创建的 FSx for Lustre 文件系统的存储类型。有效值为 SSDHDD

  • 设置为 SSD 以使用固态驱动器存储。

  • 设置为 HDD 以使用硬盘驱动器存储。PERSISTENT 部署类型支持 HDD

默认值为 SSD。有关更多信息,请参阅适用于 Windows 的 Amazon FSx 用户指南 中的存储类型选项适用于 Lustre 的 Amazon FSx 用户指南 中的多存储选项

更新策略:如果更改此设置,则不允许更新。

DeletionPolicy可选String

指定从集群中删除文件系统或删除集群时,是应保留还是删除文件系统。支持的值是 DeleteRetain。默认值为 Delete

如果设置DeletionPolicyDelete,则如果删除了群集,或者如果通过群集更新删除了文件系统,则会删除托管文件系统及其数据。

有关更多信息,请参阅 共享存储

更新策略:可以在更新期间更改此设置。

注意

DeletionPolicy从 3.3.0 Amazon ParallelCluster 版开始受支持。

DataRepositoryAssociations可选String

DRA 列表(每个文件系统最多 8 个)

每个数据存储库关联都必须具有唯一的 Amazon FSx 文件系统目录以及与之关联的唯一 S3 存储桶或前缀。

不能ImportPath在使用 DR FsxLustreSettings A 的同时使用ExportPath和。

更新策略:可以在更新期间更改此设置。

Name必需String

DRA 的名称。可以在更新设置时使用此名称。

更新策略:如果更改此设置,则不允许更新。

BatchImportMetaDataOnCreate可选Boolean

一种布尔标志,指示是否应在创建数据存储库关联后运行用于导入元数据的导入数据存储库任务。如果将此标志设置为 true,则该任务将运行。

默认值:false

更新策略:如果更改此设置,则不允许更新。

DataRepositoryPath必需String

要链接到文件系统的 Amazon S3 数据存储库的路径。该路径可以是 S3 存储桶或格式 s3://myBucket/myPrefix/ 的前缀。此路径指定 S3 数据存储库文件将从中导入或导出到的位置。

不能与其他 DRA 重叠

模式:^[^\u0000\u0085\u2028\u2029\r\n]{3,4357}$

最低:3

最高:4357

更新策略:如果更改此设置,则不允许更新。

FileSystemPath必需String

Amazon FSx for Lustre 文件系统上的路径,指向将与 DataRepositoryPath 1-1 映射的高级目录(如 /ns1/)或子目录(如 /ns1/subdir/)。名称中的前导正斜杠必填。两个数据存储库关联不能具有重叠的文件系统路径。例如,如果数据存储库与文件系统路径 /ns1/ 相关联,则您无法将另一个数据存储库与文件系统路径 /ns1/ns2 相关联。

此路径指定文件将在您的文件系统中的哪个位置导出或导入到哪个位置。只能将此文件系统目录链接到一个 Amazon S3 桶,而不能将其他 S3 桶链接到该目录。

不能与其他 DRA 重叠

注意

如果您仅指定正斜杠 (/) 作为文件系统路径,则只能将一个数据存储库链接到文件系统。您只能指定 “/” 作为与文件系统关联的第一个数据存储库的文件系统路径。

模式:^[^\u0000\u0085\u2028\u2029\r\n]{1,4096}$

最低:1

最高:4096

更新策略:如果更改此设置,则不允许更新。

ImportedFileChunkSize可选Integer

对于从数据存储库导入的文件,此值决定单个物理磁盘上存储的每个文件的条带计数和最大数据量(以 MiB 为单位)。可以对单个文件进行条带化的最大磁盘数受构成文件系统或缓存的总磁盘数限制。

默认区块大小为 1024MiB(1GiB),最大值能够达到 512000MiB(500GiB)。Amazon S3 数据元的最大大小为 5 TB。

最低:1

最高:4096

更新策略:可以在更新期间更改此设置。

AutoExportPolicy可选Array of strings

该列表可以包含以下一个或多个值:

  • NEW - 新文件和目录将在添加到文件系统时自动导出到数据存储库。

  • CHANGED - 对文件系统上的文件和目录所做的更改将自动导出到数据存储库。

  • DELETED - 在文件系统上删除文件和目录后,将在数据存储库中自动删除这些文件和目录。

您可以为您的 AutoExportPolicy 定义事件类型的任意组合。

最高:3

更新策略:可以在更新期间更改此设置。

AutoImportPolicy可选Array of strings

该列表可以包含以下一个或多个值:

  • NEW - Amazon FSx 将自动导入添加到已链接的 S3 桶中但当前不存在于 FSx 文件系统中的文件的元数据。

  • CHANGED - 当数据存储库中的文件发生更改时,Amazon FSx 将自动更新文件元数据,并使文件系统中的现有文件内容无效。

  • DELETED - Amazon FSx 将在数据存储库中删除相应文件时自动删除文件系统中的文件。

您可以为您的 AutoImportPolicy 定义事件类型的任意组合。

最高:3

更新策略:可以在更新期间更改此设置。

FsxOntapSettings

注意

如果为 StorageType 指定了 FsxOntap,则必须定义 FsxOntapSettings

(可选)适用于 ONTAP 的 FSx 文件系统的设置。

FsxOntapSettings: VolumeId: string

FsxOntapSettings 属性

VolumeId必需String

指定现有适用于 ONTAP 的 FSx 系统的卷 ID。

注意
  • 如果使用 Amazon Batch 调度程序,则适用于 ONTAP 的 FSx 仅在头节点上可用。

  • 如果适用于 ONTAP 的 FSx 部署类型为 Multi-AZ,请确保正确配置头节点子网的路由表。

  • 版本 3.2.0 中增加了对 ONTAP 的 FSx 的 Amazon ParallelCluster 支持。

  • 该文件系统必须关联到通过端口 111、635、2049 和 4046 允许入站和出站 TCP 和 UDP 流量的安全组。

通过执行以下操作之一,确保允许集群和文件系统之间的流量:

  • 配置文件系统的安全组以允许进出集群子网的 CIDR 或前缀列表的流量。

    注意

    Amazon ParallelCluster 验证端口是否已打开以及 CIDR 或前缀列表是否已配置。 Amazon ParallelCluster 不验证 CIDR 块或前缀列表的内容。

  • 通过使用 SlurmQueues/Networking/SecurityGroupsHeadNode/Networking/SecurityGroups,设置集群节点的自定义安全组。必须将自定义安全组配置为允许集群和文件系统之间的流量。

    注意

    如果所有集群节点都使用自定义安全组,则 Amazon ParallelCluster 仅验证端口是否已打开。 Amazon ParallelCluster 无法验证源和目标的配置是否正确。

更新策略:如果更改此设置,则不允许更新。

FsxOpenZfsSettings

注意

如果为 StorageType 指定了 FsxOpenZfs,则必须定义 FsxOpenZfsSettings

(可选)适用于 OpenZFS 的 FSx 文件系统的设置。

FsxOpenZfsSettings: VolumeId: string

更新策略:如果更改此设置,则不允许更新。

FsxOpenZfsSettings 属性

VolumeId必需String

指定现有适用于 OpenZFS 的 FSx 系统的卷 ID。

注意
  • 如果使用 Amazon Batch 调度程序,则适用于 OpenZFS 的 FSx 仅在头节点上可用。

  • 3.2.0 版本中增加了对 OpenZFS 版 FSX 的支持。 Amazon ParallelCluster

  • 该文件系统必须关联到通过端口 111、2049、20001、20002 和 20003 允许入站和出站 TCP 和 UDP 流量的安全组。

通过执行以下操作之一,确保允许集群和文件系统之间的流量:

  • 配置文件系统的安全组以允许进出集群子网的 CIDR 或前缀列表的流量。

    注意

    Amazon ParallelCluster 验证端口是否已打开以及 CIDR 或前缀列表是否已配置。 Amazon ParallelCluster 不验证 CIDR 块或前缀列表的内容。

  • 通过使用 SlurmQueues/Networking/SecurityGroupsHeadNode/Networking/SecurityGroups,设置集群节点的自定义安全组。必须将自定义安全组配置为允许集群和文件系统之间的流量。

    注意

    如果所有集群节点都使用自定义安全组,则 Amazon ParallelCluster 仅验证端口是否已打开。 Amazon ParallelCluster 无法验证源和目标的配置是否正确。

更新策略:如果更改此设置,则不允许更新。

FileCacheSettings

注意

如果为 StorageType 指定了 FileCache,则必须定义 FileCacheSettings

(可选)文件缓存的设置。

FileCacheSettings: FileCacheId: string

更新策略:如果更改此设置,则不允许更新。

FileCacheSettings 属性

FileCacheId必需String

指定现有文件缓存的文件缓存 ID。

注意
  • 文件缓存不支持 Amazon Batch 调度程序。

  • 3.7.0 Amazon ParallelCluster 版本中增加了对文件缓存的支持。

  • 该文件系统必须关联到通过端口 988 允许入站和出站 TCP 流量的安全组。

通过执行以下操作之一,确保允许集群和文件系统之间的流量:

  • 配置文件缓存的安全组以允许进出集群子网的 CIDR 或前缀列表的流量。

    注意

    Amazon ParallelCluster 验证端口是否已打开以及 CIDR 或前缀列表是否已配置。 Amazon ParallelCluster 不验证 CIDR 块或前缀列表的内容。

  • 通过使用 SlurmQueues/Networking/SecurityGroupsHeadNode/Networking/SecurityGroups,设置集群节点的自定义安全组。必须将自定义安全组配置为允许集群和文件系统之间的流量。

    注意

    如果所有集群节点都使用自定义安全组,则 Amazon ParallelCluster 仅验证端口是否已打开。 Amazon ParallelCluster 无法验证源和目标的配置是否正确。

更新策略:如果更改此设置,则不允许更新。