SharedStorage 部分 - Amazon ParallelCluster
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

SharedStorage 部分

(可选)集群的共享存储设置。

Amazon ParallelCluster支持使用任一方法亚马逊 EBS适用于 ONTAP 的 FSx,以及适用于 OpenZFS 的 fsX共享存储卷,亚马逊 EFSfsX for Lustre共享存储文件系统,或文件缓存

SharedStorage部分,您可以定义外部存储或托管存储:

  • 外部存储指您管理的现有卷或文件系统。Amazon ParallelCluster不会创建或删除它。

  • Amazon ParallelCluster托管存储指的卷或文件系统Amazon ParallelCluster已创建并且可以删除。

对于共享存储配额有关配置共享存储空间的更多信息,请参阅共享存储使用Amazon ParallelCluster

注意

如果Amazon Batch用作调度程序,Lustre 版 for Lustre 的 fsX 仅在群集头节点上可用。

SharedStorage: - MountDir: string Name: string StorageType: Ebs EbsSettings: VolumeType: string Iops: integer Size: integer Encrypted: boolean KmsKeyId: string SnapshotId: string Throughput: integer VolumeId: string DeletionPolicy: string Raid: Type: string NumberOfVolumes: integer - MountDir: string Name: string StorageType: Efs EfsSettings: Encrypted: boolean KmsKeyId: string EncryptionInTransit: boolean IamAuthorization: boolean PerformanceMode: string ThroughputMode: string ProvisionedThroughput: integer FileSystemId: string DeletionPolicy: string - MountDir: string Name: string StorageType: FsxLustre FsxLustreSettings: StorageCapacity: integer DeploymentType: string ImportedFileChunkSize: integer DataCompressionType: string ExportPath: string ImportPath: string WeeklyMaintenanceStartTime: string AutomaticBackupRetentionDays: integer CopyTagsToBackups: boolean DailyAutomaticBackupStartTime: string PerUnitStorageThroughput: integer BackupId: string KmsKeyId: string FileSystemId: string AutoImportPolicy: string DriveCacheType: string StorageType: string DeletionPolicy: string - MountDir: string Name: string StorageType: FsxOntap FsxOntapSettings: VolumeId: string - MountDir: string Name: string StorageType: FsxOpenZfs FsxOpenZfsSettings: VolumeId: string - MountDir: string Name: string StorageType: FileCache FileCacheSettings: FileCacheId: string

更新政策:对于此列表值设置,必须停止计算队列或QueueUpdateStrategy必须设置为添加新值;移除现有值时必须停止计算队列。

SharedStorage 属性

MountDir(必填项String)

共享存储空间的挂载路径。

更新政策:如果更改此设置,则不允许更新。

Name(必填项String)

共享存储空间的名称。更新设置时使用此名称。

警告

如果你指定Amazon ParallelCluster托管共享存储,然后更改其值Name,则删除现有的托管共享存储和数据,并创建新的托管共享存储。更改的值Name使用群集更新等同于用新的托管共享存储替换现有的托管共享存储。请务必在更改之前备份数据Name如果您需要保留现有共享存储中的数据。

更新政策:对于此列表值设置,必须停止计算队列或QueueUpdateStrategy必须设置为添加新值;移除现有值时必须停止计算队列。

StorageType(必填项String)

共享存储的类型。支持的值是EbsEfsFsxLustreFsxOntap,以及FsxOpenZfs

有关更多信息,请参阅FsxLustreSettingsFsxOntapSettingsFsxOpenZfsSettings

注意

如果你使用Amazon Batch作为调度程序,适用于 Lustre 的 FSx 仅在群集头节点上可用。

更新政策:如果更改此设置,则不允许更新。

EbsSettings

(可选)亚马逊 EBS 卷的设置。

EbsSettings: VolumeType: string Iops: integer Size: integer Encrypted: boolean KmsKeyId: string SnapshotId: string VolumeId: string Throughput: integer DeletionPolicy: string Raid: Type: string NumberOfVolumes: integer

更新政策:如果更改此设置,则不允许更新。

EbsSettings 属性

DeletionPolicy设置为Delete,如果集群被删除或通过群集更新移除该卷,则该托管卷及其数据将被删除。

有关更多信息,请参阅共享存储使用Amazon ParallelCluster

VolumeType(可选String)

指定亚马逊 EBS 卷类型。支持的值是gp2gp3io1io2sc1st1,以及standard。默认值为 gp3

有关更多信息,请参阅 Amazon EC2 用户指南(适用于 Linux 实例) 中的 Amazon EBS 卷类型

更新政策:如果更改此设置,则不允许更新。

Iops(可选Integer)

定义 IOPS 的数量io1io2,以及gp3键入卷。

默认值、支持的值和volume_iopsvolume_size比率因以下因素而异VolumeTypeSize

VolumeType = io1

默认Iops= 100

支持的值Iops= 100—64000 †

最大值volume_iopsvolume_size比率 = 每 GiB 有 50 个 IOPS。5000 IOPS 需要volume_size至少 100 GiB。

VolumeType = io2

默认Iops= 100

支持的值Iops= 100—64000(256000 代表io2区块快递卷) †

最大值IopsSize比率 = 每 GiB 为 500 个 IOPS。5000 IOPS 需要Size至少 10 GiB。

VolumeType = gp3

默认Iops= 3000

支持的值Iops= 3000—16000

最大值IopsSize比率 = 每 GiB 为 500 个 IOPS。5000 IOPS 需要Size至少 10 GiB。

† 只有在以下情况下才能保证最大 IOPS在 Nitro 系统上构建的实例配置了超过 32,000 个 IOPS。其他实例可保证高达 32,000 IOPS。除非你修改音量,早些时候io1卷可能无法达到全部性能。io2区块快递卷支持volume_iops值高达 256000R5b实例类型。有关更多信息,请参阅io2屏蔽快递卷适用于 Linux 实例的亚马逊 EC2 用户指南

更新政策:可以在更新期间更改此设置。

Size(可选Integer)

以千兆字节 (GiB) 为单位指定卷大小。默认值为 35。

更新政策:如果更改此设置,则不允许更新。

Encrypted(可选Boolean)

指定卷是否已加密。默认值为 true

更新政策:如果更改此设置,则不允许更新。

KmsKeyId(可选String)

指定要用于加密的自定义 Amazon KMS 密钥。此设置要求Encrypted设置设置为true

更新政策:如果更改此设置,则不允许更新。

SnapshotId(可选String)

如果您使用快照作为卷的来源,请指定 Amazon EBS 快照 ID。

更新政策:如果更改此设置,则不允许更新。

VolumeId(可选String)

指定亚马逊 EBS 卷编号。当为某项指定此值时EbsSettings实例,只有MountDir也可以指定参数。

该卷必须与在同一个可用区中创建HeadNode

注意

中添加了多个可用区Amazon ParallelCluster版本 3.4.0。

更新政策:如果更改此设置,则不允许更新。

Throughput(可选Integer)

为卷配置的吞吐量,以 MiB/s 为单位,最大为 1,000 MiB/s。

此设置仅在以下情况下有效VolumeTypegp3。支持的范围为 125 到 1000,默认值为 125。

更新政策:可以在更新期间更改此设置。

DeletionPolicy(可选String)

指定在删除集群或移除卷时,是应保留、删除卷还是创建快照。支持的值是DeleteRetain,以及Snapshot。默认值为 Delete

DeletionPolicy设置为Delete,如果集群被删除或通过群集更新移除该卷,则该托管卷及其数据将被删除。

有关更多信息,请参阅共享存储

更新政策:可以在更新期间更改此设置。

注意

DeletionPolicy从开始就支持Amazon ParallelCluster版本 3.2.0。

Raid

(可选)定义 RAID 卷的配置。

Raid: Type: string NumberOfVolumes: integer

更新政策:如果更改此设置,则不允许更新。

Raid 属性

Type(必填项String)

定义 RAID 阵列的类型。支持的值为 “0”(条纹)和 “1”(镜像)。

更新政策:如果更改此设置,则不允许更新。

NumberOfVolumes(可选Integer)

定义用于创建 RAID 阵列的亚马逊 EBS 卷的数量。支持的值范围为 2-5。默认值(当Raid设置已定义)为 2。

更新政策:如果更改此设置,则不允许更新。

EfsSettings

(可选)亚马逊 EFS 文件系统的设置。

EfsSettings: Encrypted: boolean KmsKeyId: string EncryptionInTransit: boolean IamAuthorization: boolean PerformanceMode: string ThroughputMode: string ProvisionedThroughput: integer FileSystemId: string DeletionPolicy: string

更新政策:如果更改此设置,则不允许更新。

EfsSettings 属性

DeletionPolicy设置为Delete,如果集群被删除,或者通过群集更新移除文件系统,则会删除托管文件系统及其数据。

有关更多信息,请参阅共享存储使用Amazon ParallelCluster

Encrypted(可选Boolean)

指定亚马逊 EFS 文件系统是否已加密。默认值为 false

更新政策:如果更改此设置,则不允许更新。

KmsKeyId(可选String)

指定要用于加密的自定义 Amazon KMS 密钥。此设置要求Encrypted设置设置为true

更新政策:如果更改此设置,则不允许更新。

EncryptionInTransit(可选Boolean)

如果设置为true,Amazon EFS 文件系统是使用传输层安全性 (TLS) 挂载的。默认情况下,它设置为false

注意

如果Amazon Batch被用作调度器,EncryptionInTransit不支持。

注意

EncryptionInTransit以开头添加Amazon ParallelCluster版本 3.4.0。

更新政策:如果更改此设置,则不允许更新。

IamAuthorization(可选Boolean)

如果设置为true,Amazon EFS 使用系统的 IAM 身份进行身份验证。默认情况下,它设置为false

注意

如果 IamAuthorization 被设置为 true,则 EncryptionInTransit 也必须被设置为 true

注意

如果Amazon Batch被用作调度器,IamAuthorization不支持。

注意

IamAuthorization以开头添加Amazon ParallelCluster版本 3.4.0。

更新政策:如果更改此设置,则不允许更新。

PerformanceMode(可选String)

指定 Amazon EFS 文件系统的性能模式。支持的值为 generalPurposemaxIO。默认值为 generalPurpose。有关更多信息,请参阅 Amazon Elastic File System User Guide(《Amazon Elastic File System 用户指南》)中的 Performance modes(性能模式)。

对于大多数文件系统,我们推荐使用 generalPurpose 性能模式。

使用 maxIO 性能模式的文件系统可以扩展到更高级别的聚合吞吐量和每秒操作数。但是,大多数文件操作需要权衡延迟稍高一些。

更新政策:如果更改此设置,则不允许更新。

ThroughputMode(可选String)

指定 Amazon EFS 文件系统的吞吐量模式。支持的值为 burstingprovisioned。默认值为 bursting。什么时候provisioned被使用,ProvisionedThroughput必须指定。

更新政策:可以在更新期间更改此设置。

ProvisionedThroughput(必填项什么时候ThroughputModeprovisionedInteger)

定义 Amazon EFS 文件系统的预配置吞吐量(以 MiB/s 为单位),以 MiB/s 为单位。这对应于ProvisionedThroughputInMibps中的参数亚马逊 EFS API 参考

如果您使用了此参数,则必须将 ThroughputMode 设置为 provisioned

支持的范围是1-1024。要请求提高限制,请联系 Amazon Web Services Support。

更新政策:可以在更新期间更改此设置。

FileSystemId(可选String)

定义现有文件系统的 Amazon EFS 文件系统 ID。

如果将群集配置为跨越多个可用区,则必须在群集使用的每个可用区中定义一个文件系统挂载目标。

当指定此值时,只有MountDir可以指定。别无其他EfsSettings可以指定。

如果设置此选项,则您定义的文件系统必须满足以下条件:
  • 文件系统在集群的每个可用区中都有一个现有的挂载目标,允许来自集群的入站和出站 NFS 流量HeadNodeComputeNodes。在中配置了多个可用区日程安排/SlurmQueues/联网/SubnetIds

    要确保集群和文件系统之间允许流量,您可以执行以下操作之一:
    • 配置挂载目标的安全组以允许进出集群子网的 CIDR 或前缀列表的流量。

      注意

      Amazon ParallelCluster验证端口是否已打开以及 CIDR 或前缀列表是否已配置。Amazon ParallelCluster不验证 CIDR 块或前缀列表的内容。

    • 使用为群集节点设置自定义安全组SlurmQueues/Networking/SecurityGroupsHeadNode/Networking/SecurityGroups。必须将自定义安全组配置为允许集群和文件系统之间的流量。

      注意

      如果所有群集节点都使用自定义安全组,Amazon ParallelCluster仅验证端口是否已打开。Amazon ParallelCluster无法验证源和目标的配置是否正确。

警告

EFS OneZone 仅当所有计算节点和头节点都在同一个可用区中时才支持。EFS OneZone 只能有一个坐骑目标。

注意

中添加了多个可用区Amazon ParallelCluster版本 3.4.0。

更新政策:如果更改此设置,则不允许更新。

DeletionPolicy(可选String)

指定从群集中移除文件系统或删除群集时,是保留还是删除文件系统。支持的值是 DeleteRetain。默认值为 Delete

DeletionPolicy设置为Delete,如果集群被删除,或者通过群集更新移除文件系统,则会删除托管文件系统及其数据。

有关更多信息,请参阅共享存储

更新政策:可以在更新期间更改此设置。

注意

DeletionPolicy从开始就支持Amazon ParallelCluster版本 3.3.0。

FsxLustreSettings

注意

你必须定义FsxLustreSettings如果FsxLustre被指定为StorageType

(可选)适用于 Lustre 文件系统的 FSx 的设置。

FsxLustreSettings: StorageCapacity: integer DeploymentType: string ImportedFileChunkSize: integer DataCompressionType: string ExportPath: string ImportPath: string WeeklyMaintenanceStartTime: string AutomaticBackupRetentionDays: integer CopyTagsToBackups: boolean DailyAutomaticBackupStartTime: string PerUnitStorageThroughput: integer BackupId: string # BackupId cannot coexist with some of the fields KmsKeyId: string FileSystemId: string # FileSystemId cannot coexist with other fields AutoImportPolicy: string DriveCacheType: string StorageType: string DeletionPolicy: string

更新政策:如果更改此设置,则不允许更新。

注意

如果Amazon Batch用作调度程序,Lustre 版 for Lustre 的 fsX 仅在群集头节点上可用。

FsxLustreSettings 属性

DeletionPolicy设置为Delete,如果集群被删除,或者通过群集更新移除文件系统,则会删除托管文件系统及其数据。

有关更多信息,请参阅共享存储

StorageCapacity(必填项Integer)

设置 Lustre 文件系统的 fsX 存储容量,以 GiB 为单位。StorageCapacity如果要创建新的文件系统,则为必填项。不包括StorageCapacity如果BackupId要么FileSystemId已指定。

  • 对于SCRATCH_2PERSISTENT_1,以及PERSISTENT_2部署类型,有效值为 1200 GiB、2400 GiB,增量为 2400 GiB。

  • 对于 SCRATCH_1 部署类型,有效值为 1200 GiB、2400 GiB,并以 3600 GiB 为增量。

更新政策:如果更改此设置,则不允许更新。

DeploymentType(可选String)

指定 Lustre 文件系统的 FSx 部署类型。支持的值有 SCRATCH_1SCRATCH_2PERSISTENT_1PERSISTENT_2。默认值为 SCRATCH_2

选择SCRATCH_1SCRATCH_2需要临时存储和短期数据处理时的部署类型。的SCRATCH_2部署类型提供传输中数据加密和更高的突发吞吐量容量SCRATCH_1

选择PERSISTENT_1部署类型,用于长期存储和不对延迟敏感的以吞吐量为重点的工作负载。PERSISTENT_1支持对传输中的数据进行加密。它全部可用Amazon Web Services 区域那里有 fsX for Lustre 可用。

选择PERSISTENT_2部署类型,用于长期存储以及需要最高 IOPS 和吞吐量的延迟敏感型工作负载。PERSISTENT_2支持 SSD 存储并提供更高的存储空间PerUnitStorageThroughput(最高可达 1000 Mb/s/TiB)。PERSISTENT_2数量有限Amazon Web Services 区域。有关部署类型和列表的更多信息Amazon Web Services 区域哪里PERSISTENT_2可用,请参阅适用于 Lustre 的 FSx 的文件系统部署选项亚马逊 FSx for Lustre 用户指南

当您访问时,会自动启用传输中数据的加密SCRATCH_2PERSISTENT_1,或PERSISTENT_2来自支持的 Amazon EC2 实例的部署类型文件系统这个功能

对传输中的数据进行加密SCRATCH_2PERSISTENT_1,以及PERSISTENT_2从支持的实例类型访问时,支持部署类型Amazon Web Services 区域。有关更多信息,请参阅加密传输中的数据亚马逊 FSx for Lustre 用户指南

注意

支持PERSISTENT_2部署类型已添加Amazon ParallelCluster版本 3.2.0。

更新政策:如果更改此设置,则不允许更新。

ImportedFileChunkSize(可选Integer)

对于从数据存储库导入的文件,此值决定存储在单个物理磁盘上的每个文件(以 MiB 为单位)的条带数量和最大数据量。可以对单个文件进行条带化的最大磁盘数受构成文件系统的总磁盘数限制。

默认区块大小为 1024MiB(1GiB),最大值能够达到 512000MiB(500GiB)。Amazon S3 数据元的最大大小为 5 TB。

注意

使用该参数的文件系统不支持此参数PERSISTENT_2部署类型。有关如何配置数据存储库关联的说明,请参阅将您的文件系统关联到 S3 存储桶亚马逊 FSx for Lustre 用户指南

更新政策:如果更改此设置,则不允许更新。

DataCompressionType(可选String)

为 FSx for Lustre 文件系统设置数据压缩配置。支持的值为LZ4LZ4表示已使用 LZ4 算法开启数据压缩。什么时候DataCompressionType未指定,则在创建文件系统时会关闭数据压缩。

有关更多信息,请参阅光泽数据压缩

更新政策:可以在更新期间更改此设置。

ExportPath(可选String)

Amazon S3 中导出 FSx for Lustre 文件系统根目录的路径。只有在以下情况下才支持此设置ImportPath参数已指定。该路径必须使用中指定的 Amazon S3 存储桶ImportPath。您可以提供一个可选的前缀,以便从 FSx for Lustre 文件系统中导出新数据和更改数据。如果ExportPath未提供值,FSx for Lustre 设置了默认的导出路径,s3://import-bucket/FSxLustre[creation-timestamp]。此时间戳采用 UTC 格式,例如 s3://import-bucket/FSxLustre20181105T222312Z

Amazon S3 导出桶必须与 ImportPath 指定的导入桶相同。如果您只指定存储桶名称,例如s3://import-bucket,您将获得文件系统对象到 Amazon S3 存储桶对象的 1:1 映射。此映射意味着 Amazon S3 中的输入数据在导出时会被覆盖。如果您在导出路径中提供了自定义前缀,例如s3://import-bucket/[custom-optional-prefix],fsX for Lustre 会将文件系统的内容导出到 Amazon S3 存储桶中的该导出前缀。

注意

使用该参数的文件系统不支持此参数PERSISTENT_2部署类型。按照中所述配置数据存储库关联将您的文件系统关联到 S3 存储桶亚马逊 FSx for Lustre 用户指南

更新政策:如果更改此设置,则不允许更新。

ImportPath(可选String)

您用作 FSx for Lustre 文件系统数据存储库的 Amazon S3 存储桶的路径(包括可选前缀)。FSx for Lustre 文件系统的根目录将映射到您选择的 Amazon S3 桶的根目录。示例是 s3://import-bucket/optional-prefix。如果您在 Amazon S3 名称后指定了前缀,则只将具有该前缀的对象键加载到文件系统。

注意

使用该参数的文件系统不支持此参数PERSISTENT_2部署类型。按照中所述配置数据存储库关联将您的文件系统关联到 S3 存储桶亚马逊 FSx for Lustre 用户指南

更新政策:如果更改此设置,则不允许更新。

WeeklyMaintenanceStartTime(可选String)

每周进行维护的首选开始时间。它在里面"d:HH:MM"以 UTC+0 时区格式化。对于这种格式,d是从 1 到 7 的工作日数字,从星期一开始,以星期日结束。此字段必须使用引号。

更新政策:可以在更新期间更改此设置。

AutomaticBackupRetentionDays(可选Integer)

保留自动备份的天数。将此值设置为 0 将禁用自动备份。支持的范围为 0-90。默认值为 0。此设置仅对使用有效PERSISTENT_1PERSISTENT_2部署类型。有关更多信息,请参阅处理备份亚马逊 FSx for Lustre 用户指南

更新政策:可以在更新期间更改此设置。

CopyTagsToBackups(可选Boolean)

如果true,将 FSx for Lustre 文件系统的标签复制到备份中。此值默认为 false。如果设置为 true,则会将文件系统的所有标签复制到用户未指定标签的所有自动和用户启动的备份。如果此值为 true,并且指定了一个或多个标签,则仅将指定的标签复制到备份。如果您在创建用户启动的备份时指定了一个或多个标签,则不会从文件系统复制任何标签,无论此值如何。此设置仅对使用有效PERSISTENT_1PERSISTENT_2部署类型。

更新政策:如果更改此设置,则不允许更新。

DailyAutomaticBackupStartTime(可选String)

每天重复的时间,在HH:MM格式。HH是一天中的零填充时间 (00-23)。MM是小时中的零填充分钟 (00-59)。例如,05:00指定每天凌晨 5 点。此设置仅对使用有效PERSISTENT_1PERSISTENT_2部署类型。

更新政策:可以在更新期间更改此设置。

PerUnitStorageThroughput(必填项PERSISTENT_1PERSISTENT_2部署类型Integer)

描述每 1 TB 存储空间的读取和写入吞吐量,以 MB/s/TiB 为单位。文件系统吞吐能力是将通过文件系统存储容量(TiB)乘以 PerUnitStorageThroughput(MB/s/TiB)计算得出的。对于 2.4 TiB 文件系统,预配置 50 MB/s/TiB 的 PerUnitStorageThroughput 将得到 120 MB/s 的文件系统吞吐量。您需要为预配置的吞吐量付费。这对应于PerUnitStorageThroughput财产。

有效值:

  • PERSISTENT_1 固态硬盘存储:50、100、200 MB/s/TiB。

  • PERSISTENT_1 硬盘存储空间:12、40 MB/s/Tib。

  • PERSISTENT_2 固态硬盘存储:125、250、500、1000 MB/s/TiB。

更新政策:如果更改此设置,则不允许更新。

BackupId(可选String)

指定用于从现有备份中恢复 FSx for Lustre 文件系统的备份 ID。当BackupId设置已指定,AutoImportPolicyDeploymentTypeExportPathKmsKeyIdImportPathImportedFileChunkSizeStorageCapacity,以及PerUnitStorageThroughput不得指定设置。这些设置是从备份中读取的。此外,AutoImportPolicyExportPathImportPath,以及ImportedFileChunkSize不得指定设置。这对应于BackupId财产。

更新政策:如果更改此设置,则不允许更新。

KmsKeyId(可选String)

的身份证Amazon Key Management Service(Amazon KMS) 密钥 ID,用于加密 Lustre 文件系统的 fsX 数据,用于静态的 Lustre 文件系统的永久 fsX。如果未指定,则使用 FSx for Lustre 托管密钥。的SCRATCH_1SCRATCH_2Lustre 文件系统的 fsX 始终使用 FSx for Lustre 托管密钥进行静态加密。有关更多信息,请参阅加密Amazon Key Management ServiceAPI 参考

更新政策:如果更改此设置,则不允许更新。

FileSystemId(可选String)

为 Lustre 文件系统指定现有 FSx 的 ID。

如果指定了此选项,则只有MountDirFileSystemId中的设置FsxLustreSettings被使用。中的所有其他设置FsxLustreSettings被忽略。

注意

如果Amazon Batch使用调度器,Lustre 的 fsX 仅在头节点上可用。

注意

文件系统必须与允许入站和出站 TCP 流量通过端口 988、1021、1022 和 1023 的安全组相关联。

通过执行以下任一操作,确保允许群集和文件系统之间的流量:

  • 配置文件系统的安全组以允许进出集群子网的 CIDR 或前缀列表的流量。

    注意

    Amazon ParallelCluster验证端口是否已打开以及 CIDR 或前缀列表是否已配置。Amazon ParallelCluster不验证 CIDR 块或前缀列表的内容。

  • 使用为群集节点设置自定义安全组SlurmQueues/Networking/SecurityGroupsHeadNode/Networking/SecurityGroups。必须将自定义安全组配置为允许集群和文件系统之间的流量。

    注意

    如果所有群集节点都使用自定义安全组,Amazon ParallelCluster仅验证端口是否已打开。Amazon ParallelCluster无法验证源和目标的配置是否正确。

更新政策:如果更改此设置,则不允许更新。

AutoImportPolicy(可选String)

当您创建 FSx for Lustre 文件系统时,您现有的 Amazon S3 对象将显示为文件和目录列表。使用此属性选择在关联的 Amazon S3 存储桶中添加或修改对象时,FSx for Lustre 如何使您的文件和目录列表保持最新状态。AutoImportPolicy可以有以下值:

  • NEW-自动导入已开启。FSx for Lustre 会自动导入添加到链接的 Amazon S3 存储桶中且当前不存在于 FSx for Lustre 文件系统中的任何新对象的目录列表。

  • NEW_CHANGED-自动导入已开启。选择此选项后,FSx for Lustre 会自动导入添加到 Amazon S3 存储桶中的任何新对象以及在 Amazon S3 存储桶中更改的任何现有对象的文件和目录列表。

  • NEW_CHANGED_DELETED-自动导入已开启。FSx for Lustre 会自动导入添加到 Amazon S3 存储桶中的任何新对象、在 Amazon S3 存储桶中更改的任何现有对象以及您选择此选项后在 Amazon S3 存储桶中删除的所有对象的文件和目录列表。

    注意

    支持NEW_CHANGED_DELETED已添加到Amazon ParallelCluster版本 3.1.1。

如果AutoImportPolicy未指定,自动导入已关闭。FSx for Lustre 仅在创建文件系统时更新链接的 Amazon S3 存储桶中的文件和目录列表。选择此选项后,FSx for Lustre 不会更新任何新对象或已更改对象的文件和目录列表。

有关更多信息,请参阅自动从 S3 存储桶导入更新亚马逊 FSx for Lustre 用户指南

注意

使用该参数的文件系统不支持此参数PERSISTENT_2部署类型。有关如何配置数据存储库关联的说明,请参阅将您的文件系统关联到 S3 存储桶亚马逊 FSx for Lustre 用户指南

更新政策:如果更改此设置,则不允许更新。

DriveCacheType(可选String)

指定文件系统具有 SSD 驱动器缓存。只有在以下情况下才能设置此值StorageType设置设置为HDD,还有DeploymentType设置设置为PERSISTENT_1。这对应于DriveCacheType财产。有关更多信息,请参阅FSx for Lustre 部署选项亚马逊 FSx for Lustre 用户指南

唯一有效值为 READ。要禁用 SSD 驱动器缓存,请不要指定DriveCacheType设置。

更新政策:如果更改此设置,则不允许更新。

StorageType(可选String)

为您正在创建的 FSx for Lustre 文件系统设置存储类型。有效值为 SSDHDD

  • 设置为 SSD 以使用固态驱动器存储。

  • 设置为HDD使用硬盘驱动器存储。HDD支持在PERSISTENT部署类型。

默认值为 SSD。有关更多信息,请参阅存储类型选项适用于 Windows 的亚马逊 FSx 用户指南多种存储选项亚马逊 FSx for Lustre 用户指南

更新政策:如果更改此设置,则不允许更新。

DeletionPolicy(可选String)

指定从群集中移除文件系统或删除群集时,是保留还是删除文件系统。支持的值是 DeleteRetain。默认值为 Delete

DeletionPolicy设置为Delete,如果集群被删除,或者通过群集更新移除文件系统,则会删除托管文件系统及其数据。

有关更多信息,请参阅共享存储

更新政策:可以在更新期间更改此设置。

注意

DeletionPolicy从开始就支持Amazon ParallelCluster版本 3.3.0。

FsxOntapSettings

注意

你必须定义FsxOntapSettings如果FsxOntap被指定为StorageType

(可选)适用于 ONTAP 文件系统的 FSx 的设置。

FsxOntapSettings: VolumeId: string

FsxOntapSettings 属性

VolumeId(必填项String)

指定适用于 ONTAP 系统的现有 FSx 的卷 ID。

注意
  • 如果Amazon Batch使用调度程序,ONTAP 的 FSx 仅在头节点上可用。

  • 如果适用于 ONTAP 的 FSx 部署类型为Multi-AZ,请确保头节点子网的路由表配置正确。

  • 已在 ONTAP 中添加了对 FSx 的支持Amazon ParallelCluster版本 3.2.0。

  • 文件系统必须与允许入站和出站 TCP 和 UDP 流量通过端口 111、635、2049 和 4046 的安全组相关联。

通过执行以下操作之一,确保允许群集和文件系统之间的流量:

  • 配置文件系统的安全组以允许进出集群子网的 CIDR 或前缀列表的流量。

    注意

    Amazon ParallelCluster验证端口是否已打开以及 CIDR 或前缀列表是否已配置。Amazon ParallelCluster不验证 CIDR 块或前缀列表的内容。

  • 使用为群集节点设置自定义安全组SlurmQueues/Networking/SecurityGroupsHeadNode/Networking/SecurityGroups。必须将自定义安全组配置为允许集群和文件系统之间的流量。

    注意

    如果所有群集节点都使用自定义安全组,Amazon ParallelCluster仅验证端口是否已打开。Amazon ParallelCluster无法验证源和目标的配置是否正确。

更新政策:如果更改此设置,则不允许更新。

FsxOpenZfsSettings

注意

你必须定义FsxOpenZfsSettings如果FsxOpenZfs被指定为StorageType

(可选)适用于 OpenZFS 文件系统的 FSX 的设置。

FsxOpenZfsSettings: VolumeId: string

更新政策:如果更改此设置,则不允许更新。

FsxOpenZfsSettings 属性

VolumeId(必填项String)

指定适用于 OpenZFS 系统的现有 FSX 的卷 ID。

注意
  • 如果Amazon Batch使用调度程序,OpenZFS 的 fsX 仅在头节点上可用。

  • 在 OpenZFS 中添加了对 fsX 的支持Amazon ParallelCluster版本 3.2.0。

  • 文件系统必须与允许入站和出站 TCP 和 UDP 流量通过端口 111、2049、20001、20002 和 20003 的安全组相关联。

通过执行以下任一操作,确保允许群集和文件系统之间的流量:

  • 配置文件系统的安全组以允许进出集群子网的 CIDR 或前缀列表的流量。

    注意

    Amazon ParallelCluster验证端口是否已打开以及 CIDR 或前缀列表是否已配置。Amazon ParallelCluster不验证 CIDR 块或前缀列表的内容。

  • 使用为群集节点设置自定义安全组SlurmQueues/Networking/SecurityGroupsHeadNode/Networking/SecurityGroups。必须将自定义安全组配置为允许集群和文件系统之间的流量。

    注意

    如果所有群集节点都使用自定义安全组,Amazon ParallelCluster仅验证端口是否已打开。Amazon ParallelCluster无法验证源和目标的配置是否正确。

更新政策:如果更改此设置,则不允许更新。

FileCacheSettings

注意

你必须定义FileCacheSettings如果FileCache被指定为StorageType

(可选)文件缓存的设置。

FileCacheSettings: FileCacheId: string

更新政策:如果更改此设置,则不允许更新。

FileCacheSettings 属性

FileCacheId(必填项String)

指定现有文件缓存的文件缓存 ID。

注意
  • 文件缓存不支持Amazon Batch调度器。

  • 中添加了对文件缓存的支持Amazon ParallelCluster版本 3.7.0。

  • 文件系统必须与允许入站和出站 TCP 流量通过端口 988 的安全组相关联。

通过执行以下任一操作,确保允许群集和文件系统之间的流量:

  • 配置文件缓存的安全组以允许进出集群子网的 CIDR 或前缀列表的流量。

    注意

    Amazon ParallelCluster验证端口是否已打开以及 CIDR 或前缀列表是否已配置。Amazon ParallelCluster不验证 CIDR 块或前缀列表的内容。

  • 使用为群集节点设置自定义安全组SlurmQueues/Networking/SecurityGroupsHeadNode/Networking/SecurityGroups。必须将自定义安全组配置为允许集群和文件系统之间的流量。

    注意

    如果所有群集节点都使用自定义安全组,Amazon ParallelCluster仅验证端口是否已打开。Amazon ParallelCluster无法验证源和目标的配置是否正确。

更新政策:如果更改此设置,则不允许更新。