SharedStorage 部分 - Amazon ParallelCluster
SharedStorage更新政策SharedStorage 属性EbsSettingsEfsSettingsFsxLustreSettingsFsxOntapSettingsFsxOpenZfsSettingsFileCacheSettings
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

SharedStorage 部分

（可选）集群的共享存储设置。

Amazon ParallelCluster 支持使用 Amazon EBS、用于 ONTAP 的 FSx 和 OpenZ FS 共享存储卷的 FSX、用于Lustre 共享存储文件系统的亚马逊 EF S 和 FS X 或者文件缓存。

在 SharedStorage 部分中，您可以定义外部存储或托管存储：

  • 外部存储是指您管理的现有卷或文件系统。 Amazon ParallelCluster 不会创建或删除它。

  • Amazon ParallelCluster 托管存储是指 Amazon ParallelCluster 创建并可以删除的卷或文件系统。

有关共享存储配额以及有关配置共享存储的更多信息，请参阅使用 Amazon ParallelCluster 中的共享存储。

注意

如果 Amazon Batch 用作调度程序，则 FSx for Lustre 仅在群集头节点上可用。

SharedStorage:
  - MountDir: string
    Name: string
    StorageType: Ebs
    EbsSettings:
      VolumeType: string
      Iops: integer
      Size: integer
      Encrypted: boolean
      KmsKeyId: string
      SnapshotId: string
      Throughput: integer
      VolumeId: string
      DeletionPolicy: string
      Raid:
        Type: string
        NumberOfVolumes: integer
  - MountDir: string
    Name: string
    StorageType: Efs
    EfsSettings:
      Encrypted: boolean
      KmsKeyId: string
      EncryptionInTransit: boolean
      IamAuthorization: boolean
      PerformanceMode: string
      ThroughputMode: string
      ProvisionedThroughput: integer
      FileSystemId: string
      DeletionPolicy: string
  - MountDir: string
    Name: string
    StorageType: FsxLustre
    FsxLustreSettings:
      StorageCapacity: integer
      DeploymentType: string
      ImportedFileChunkSize: integer
      DataCompressionType: string
      ExportPath: string
      ImportPath: string
      WeeklyMaintenanceStartTime: string
      AutomaticBackupRetentionDays: integer
      CopyTagsToBackups: boolean
      DailyAutomaticBackupStartTime: string
      PerUnitStorageThroughput: integer
      BackupId: string
      KmsKeyId: string
      FileSystemId: string
      AutoImportPolicy: string
      DriveCacheType: string
      StorageType: string
      DeletionPolicy: string
      DataRepositoryAssociations:
      - Name: string
        BatchImportMetaDataOnCreate: boolean
        DataRepositoryPath: string
        FileSystemPath: string
        ImportedFileChunkSize: integer
        AutoExportPolicy: string
        AutoImportPolicy: string
  - MountDir: string
    Name: string
    StorageType: FsxOntap
    FsxOntapSettings:
      VolumeId: string
  - MountDir: string
    Name: string
    StorageType: FsxOpenZfs
    FsxOpenZfsSettings:
      VolumeId: string
  - MountDir: string
    Name: string
    StorageType: FileCache
    FileCacheSettings:
      FileCacheId: string

SharedStorage更新政策

SharedStorage 属性

MountDir（必需，String）

共享存储的挂载路径。

更新策略：如果更改此设置，则不允许更新。

Name（必需，String）

共享存储的名称。可以在更新设置时使用此名称。

警告

如果您指定了 Amazon ParallelCluster 托管共享存储，并且更改了的值Name，则会删除现有的托管共享存储空间和数据，并创建新的托管共享存储。通过集群更新来更改 Name 的值等同于用新的托管共享存储替换现有的托管共享存储。如果您需要保留现有共享存储中的数据，请确保在更改 Name 之前备份数据。

更新策略：对于此列表值设置，必须停止计算实例集或必须设置 QueueUpdateStrategy 才能添加新值；删除现有值时必须停止计算实例集。

StorageType（必需，String）

共享存储的类型。支持的值为 Ebs、Efs、FsxLustre、FsxOntap 和 FsxOpenZfs。

有关更多信息，请参阅 FsxLustreSettings、FsxOntapSettings 和 FsxOpenZfsSettings。

注意

如果您 Amazon Batch 用作调度程序，则 FSx for Lustre 仅在群集头节点上可用。

更新策略：如果更改此设置，则不允许更新。

EbsSettings

（可选）Amazon EBS 卷的设置。

EbsSettings:
  VolumeType: string
  Iops: integer
  Size: integer
  Encrypted: boolean
  KmsKeyId: string
  SnapshotId: string
  VolumeId: string
  Throughput: integer
  DeletionPolicy: string
  Raid:
    Type: string
    NumberOfVolumes: integer

更新策略：如果更改此设置，则不允许更新。

EbsSettings 属性

当设置DeletionPolicy为时Delete，如果集群被删除或通过群集更新移除该卷，则该托管卷及其数据将被删除。

有关更多信息，请参阅使用 Amazon ParallelCluster 中的共享存储。

VolumeType（可选，String）

指定 Amazon EBS 卷类型。支持的值为 gp2、gp3、io1、io2、sc1、st1 和 standard。默认值为 gp3。

有关更多信息，请参阅 Amazon EC2 用户指南（适用于 Linux 实例）中的 Amazon EBS 卷类型。

更新策略：如果更改此设置，则不允许更新。

Iops（可选，Integer）

定义 io1、io2 和 gp3 类型卷的 IOPS 数。

默认值、支持的值以及 volume_size/volume_iops 比率因 VolumeType 和 Size 而异。

VolumeType = io1

默认值：Iops = 100

支持的值：Iops = 100–64000 †

最大 volume_iops/volume_size 比率 = 50 IOPS/GiB。5000 IOPS 需要至少 100 GiB 的 volume_size。

VolumeType = io2

默认值：Iops = 100

支持的值：Iops = 100–64000（io2 Block Express 卷为 256000）†

最大 Iops/Size 比率 = 500 IOPS/GiB。5000 IOPS 需要至少 10 GiB 的 Size。

VolumeType = gp3

默认值：Iops = 3000

支持的值：Iops = 3000–16000

最大 Iops/Size 比率 = 500 IOPS/GiB。5000 IOPS 需要至少 10 GiB 的 Size。

† 只有在 Nitro System 上构建的实例配置超过 32000 IOPS 时，才能保证最大 IOPS。其他实例保证最高为 32000 IOPS。除非您修改卷，否则较早的 io1 卷可能无法实现完全性能。io2Block Express 卷在 R5b 实例类型上支持高达 256000 的 volume_iops 值。有关更多信息，请参阅 Amazon EC2 用户指南（适用于 Linux 实例）中的 io2Block Express 卷。

更新策略：可以在更新期间更改此设置。

Size（可选，Integer）

指定卷大小，以吉字节 (GiB) 为单位。默认值为 35。

更新策略：如果更改此设置，则不允许更新。

Encrypted（可选，Boolean）

指定是否对卷进行加密。默认值为 true。

更新策略：如果更改此设置，则不允许更新。

KmsKeyId（可选，String）

指定用于加密的自定义 Amazon KMS 密钥。此设置要求将 Encrypted 设置设为 true。

更新策略：如果更改此设置，则不允许更新。

SnapshotId（可选，String）

指定 Amazon EBS 快照 ID（如果使用快照作为卷的来源）。

更新策略：如果更改此设置，则不允许更新。

VolumeId（可选，String）

指定 Amazon EBS 卷 ID。为 EbsSettings 实例指定此参数后，还可以并且只能指定 MountDir 参数。

必须在 HeadNode 所在的同一可用区中创建卷。

注意

3.4.0 Amazon ParallelCluster 版本中添加了多个可用区。

更新策略：如果更改此设置，则不允许更新。

Throughput（可选，Integer）

为卷预置的吞吐量，以 MiB/s 为单位，最大值为 1000 MiB/s。

此设置仅在 VolumeType 为 gp3 时有效。支持的范围为 125 到 1000，默认值为 125。

更新策略：可以在更新期间更改此设置。

DeletionPolicy（可选，String）

指定删除集群或删除卷时是保留卷、删除卷还是创建快照。支持的值为 Delete、Retain 和 Snapshot。默认值为 Delete。

当DeletionPolicy设置为时Delete，如果集群被删除或通过群集更新移除该卷，则该托管卷及其数据将被删除。

有关更多信息，请参阅 共享存储。

更新策略：可以在更新期间更改此设置。

注意

DeletionPolicy从 3.2.0 Amazon ParallelCluster 版开始受支持。

Raid

（可选）定义 RAID 卷的配置。

Raid:
  Type: string
  NumberOfVolumes: integer

更新策略：如果更改此设置，则不允许更新。

Raid 属性

Type（必需，String）

定义 RAID 阵列的类型。支持的值为“0”（条带）和“1”（镜像）。

更新策略：如果更改此设置，则不允许更新。

NumberOfVolumes（可选，Integer）

定义用于创建 RAID 阵列的 Amazon EBS 卷的数量。支持的值范围为 2-5。默认值（定义了 Raid 设置时）为 2。

更新策略：如果更改此设置，则不允许更新。

EfsSettings

（可选）Amazon EFS 文件系统的设置。

EfsSettings:
  Encrypted: boolean
  KmsKeyId: string
  EncryptionInTransit: boolean
  IamAuthorization: boolean
  PerformanceMode: string
  ThroughputMode: string
  ProvisionedThroughput: integer
  FileSystemId: string
  DeletionPolicy: string

更新策略：如果更改此设置，则不允许更新。

EfsSettings 属性

当DeletionPolicy设置为时Delete，如果删除了群集，或者如果通过群集更新删除了文件系统，则会删除托管文件系统及其数据。

有关更多信息，请参阅使用 Amazon ParallelCluster 中的共享存储。

Encrypted（可选，Boolean）

指定是否对 Amazon EFS 文件系统加密。默认值为 false。

更新策略：如果更改此设置，则不允许更新。

KmsKeyId（可选，String）

指定用于加密的自定义 Amazon KMS 密钥。此设置要求将 Encrypted 设置设为 true。

更新策略：如果更改此设置，则不允许更新。

EncryptionInTransit（可选，Boolean）

如果设置为 true，则使用传输层安全性协议 (TLS) 挂载 Amazon EFS 文件系统。默认情况下，该选项设置为 false。

注意

Amazon Batch 如果用作调度程序，则EncryptionInTransit不支持。

注意

从 Amazon ParallelCluster 版本 3.4.0 开始添加了 EncryptionInTransit。

更新策略：如果更改此设置，则不允许更新。

IamAuthorization（可选，Boolean）

如果设置为 true，则使用系统的 IAM 身份对 Amazon EFS 进行身份验证。默认情况下，该选项设置为 false。

注意

如果 IamAuthorization 被设置为 true，则 EncryptionInTransit 也必须被设置为 true。

注意

Amazon Batch 如果用作调度程序，则IamAuthorization不支持。

注意

IamAuthorization是从 3.4.0 Amazon ParallelCluster 版本开始添加的。

更新策略：如果更改此设置，则不允许更新。

PerformanceMode（可选，String）

指定 Amazon EFS 文件系统的性能模式。支持的值为 generalPurpose 和 maxIO。默认值为 generalPurpose。有关更多信息，请参阅 Amazon Elastic File System User Guide 中的 Performance modes。

对于大多数文件系统，我们推荐使用 generalPurpose 性能模式。

使用 maxIO 性能模式的文件系统可以扩展到更高级别的聚合吞吐量和每秒操作数。但是，对于大多数文件操作来说，代价是稍高的延迟。

更新策略：如果更改此设置，则不允许更新。

ThroughputMode（可选，String）

指定 Amazon EFS 文件系统的吞吐量模式。支持的值为 bursting 和 provisioned。默认值为 bursting。使用 provisioned 时，必须指定 ProvisionedThroughput。

更新策略：可以在更新期间更改此设置。

ProvisionedThroughput（ThroughputMode 为 provisioned 时必需，Integer）

定义 Amazon EFS 文件系统的预置吞吐量，以 MiB/s 为单位。这与《亚马逊 EFS API 参考》中的ProvisionedThroughputInMibps参数相对应。

如果您使用了此参数，则必须将 ThroughputMode 设置为 provisioned。

支持的范围是 1-1024。要请求提高限制，请联系 Amazon Web Services Support。

更新策略：可以在更新期间更改此设置。

FileSystemId（可选，String）

为现有文件系统定义 Amazon EFS 文件系统 ID。

如果集群配置为跨越多个可用区，则必须在集群使用的每个可用区中定义一个文件系统挂载目标。

指定了此参数时，只能指定 MountDir。不能指定其他 EfsSettings。

如果设置此选项，则定义的文件系统必须符合以下要求：

  • 文件系统必须在集群的每个可用区中具有现有的挂载目标，允许来自 HeadNode 和 ComputeNodes 的入站和出站 NFS 流量。在调度//网络 SlurmQueues/中配置了多个可用区SubnetIds。

    为确保允许集群和文件系统之间的流量，您可以执行以下操作之一：

    • 配置挂载目标的安全组以允许进出集群子网的 CIDR 或前缀列表的流量。

      注意

      Amazon ParallelCluster 验证端口是否已打开以及 CIDR 或前缀列表是否已配置。 Amazon ParallelCluster 不验证 CIDR 块或前缀列表的内容。

    • 通过使用 SlurmQueues/Networking/SecurityGroups 和 HeadNode/Networking/SecurityGroups，设置集群节点的自定义安全组。必须将自定义安全组配置为允许集群和文件系统之间的流量。

      注意

      如果所有集群节点都使用自定义安全组，则 Amazon ParallelCluster 仅验证端口是否已打开。 Amazon ParallelCluster 无法验证源和目标的配置是否正确。

警告

OneZone 只有当所有计算节点和头节点都位于同一个可用区时，才支持 EFS。EFS OneZone 只能有一个挂载目标。

注意

3.4.0 Amazon ParallelCluster 版本中添加了多个可用区。

更新策略：如果更改此设置，则不允许更新。

DeletionPolicy（可选，String）

指定从集群中删除文件系统或删除集群时，是应保留还是删除文件系统。支持的值是 Delete 和 Retain。默认值为 Delete。

如果设置DeletionPolicy为Delete，则如果删除了群集，或者如果通过群集更新删除了文件系统，则会删除托管文件系统及其数据。

有关更多信息，请参阅 共享存储。

更新策略：可以在更新期间更改此设置。

注意

DeletionPolicy从 3.3.0 Amazon ParallelCluster 版开始受支持。

FsxLustreSettings

注意

如果为 StorageType 指定了 FsxLustre，则必须定义 FsxLustreSettings。

（可选）FSx for Lustre 文件系统的设置。

FsxLustreSettings:
  StorageCapacity: integer
  DeploymentType: string
  ImportedFileChunkSize: integer
  DataCompressionType: string
  ExportPath: string
  ImportPath: string
  WeeklyMaintenanceStartTime: string
  AutomaticBackupRetentionDays: integer
  CopyTagsToBackups: boolean
  DailyAutomaticBackupStartTime: string
  PerUnitStorageThroughput: integer
  BackupId: string # BackupId cannot coexist with some of the fields
  KmsKeyId: string
  FileSystemId: string # FileSystemId cannot coexist with other fields
  AutoImportPolicy: string
  DriveCacheType: string
  StorageType: string
  DeletionPolicy: string

更新策略：如果更改此设置，则不允许更新。

注意

如果 Amazon Batch 用作调度程序，则 FSx for Lustre 仅在群集头节点上可用。

FsxLustreSettings 属性

如果设置DeletionPolicy为Delete，则如果删除了群集，或者如果通过群集更新删除了文件系统，则会删除托管文件系统及其数据。

有关更多信息，请参阅 共享存储。

StorageCapacity（必需，Integer）

设置 FSx for Lustre 文件系统的存储容量，以 GiB 为单位。如果要创建新的文件系统，则 StorageCapacity 是必需的。如果指定了 BackupId 或 FileSystemId，则不要包含 StorageCapacity。

  • 对于 SCRATCH_2、PERSISTENT_1 和 PERSISTENT_2 部署类型，有效值为 1200 GiB、2400 GiB，并以 2400 GiB 为增量。

  • 对于 SCRATCH_1 部署类型，有效值为 1200 GiB、2400 GiB，并以 3600 GiB 为增量。

更新策略：如果更改此设置，则不允许更新。

DeploymentType（可选，String）

指定 FSx for Lustre 文件系统的部署类型。支持的值有 SCRATCH_1、SCRATCH_2、PERSISTENT_1 和 PERSISTENT_2。默认值为 SCRATCH_2。

当您需要临时存储和短期处理数据时，请选择 SCRATCH_1 和 SCRATCH_2 部署类型。SCRATCH_2 部署类型提供了数据的传输中加密，以及比 SCRATCH_1 更高的突发吞吐能力。

对于长期存储以及侧重于吞吐量的延迟不敏感型工作负载，请选择 PERSISTENT_1 部署类型。PERSISTENT_1 支持传输中数据加密。它在所有可用 FSx for Lustre Amazon Web Services 区域 的地方都可用。

对于长期存储以及需要最高级别的 IOPS 和吞吐量的延迟敏感型工作负载，请选择 PERSISTENT_2 部署类型。PERSISTENT_2 支持 SSD 存储，并提供更高的 PerUnitStorageThroughput（最高达到 1000 MB/s/TiB）。PERSISTENT_2 适用于有限数量的 Amazon Web Services 区域。有关部署类型和可用 Amazon Web Services 区域 位置PERSISTENT_2列表的更多信息，请参阅《Amazon FSx for Lustre 用户指南》中的 FSx for Lustre 文件系统部署选项。

当您从支持此功能的 Amazon EC2 实例访问 SCRATCH_2、PERSISTENT_1 或 PERSISTENT_2 部署类型文件系统时，系统会自动启用传输中数据加密功能。

从受支持的 Amazon Web Services 区域中受支持的实例类型进行访问时，支持 SCRATCH_2、PERSISTENT_1 和 PERSISTENT_2 部署类型的传输中数据加密。有关更多信息，请参阅适用于 Lustre 的 Amazon FSx 用户指南 中的加密传输中数据。

注意

从 Amazon ParallelCluster 版本 3.2.0 开始添加了对 PERSISTENT_2 部署类型的支持。

更新策略：如果更改此设置，则不允许更新。

ImportedFileChunkSize（可选，Integer）

对于从数据存储库导入的文件，此值决定单个物理磁盘上存储的每个文件的条带计数和最大数据量（以 MiB 为单位）。可以对单个文件进行条带化的最大磁盘数受构成文件系统的总磁盘数限制。

默认区块大小为 1024MiB（1GiB），最大值能够达到 512000MiB（500GiB）。Amazon S3 数据元的最大大小为 5 TB。

注意

使用 PERSISTENT_2 部署类型的文件系统不支持此参数。有关如何配置数据存储库关联的说明，请参阅 适用于 Lustre 的 Amazon FSx 用户指南 中的将您的文件系统链接到 S3 桶。

更新策略：如果更改此设置，则不允许更新。

DataCompressionType（可选，String）

设置 FSx for Lustre 文件系统的数据压缩配置。支持的值为 LZ4。LZ4 指示使用 LZ4 算法开启数据压缩。如果未指定 DataCompressionType，则在创建文件系统时关闭数据压缩。

有关更多信息，请参阅 Lustre 数据压缩。

更新策略：可以在更新期间更改此设置。

ExportPath（可选，String）

在其中导出 FSx for Lustre 文件系统的根的 Amazon S3 路径。仅当指定了 ImportPath 参数时支持此设置。该路径必须使用在 ImportPath 中指定的相同 Amazon S3 存储桶。您可以为将从您的 FSx for Lustre 文件系统导出的新数据和更改数据提供可选前缀。如果未提供 ExportPath 值，FSx for Lustre 会设置默认导出路径 s3://import-bucket/FSxLustre[creation-timestamp]。此时间戳采用 UTC 格式，例如 s3://import-bucket/FSxLustre20181105T222312Z。

Amazon S3 导出桶必须与 ImportPath 指定的导入桶相同。如果仅指定存储桶名称（例如 s3://import-bucket），则会获得文件系统对象与 Amazon S3 存储桶对象的 1:1 映射。此映射意味着 Amazon S3 中的输入数据会在导出时被覆盖。如果在导出路径中提供自定义前缀（例如 s3://import-bucket/[custom-optional-prefix]），FSx for Lustre 会将文件系统的内容导出到使用 Amazon S3 存储桶中的导出前缀的路径。

注意

使用 PERSISTENT_2 部署类型的文件系统不支持此参数。按照适用于 Lustre 的 Amazon FSx 用户指南 中的将您的文件系统链接到 S3 桶，配置数据存储库关联。

更新策略：如果更改此设置，则不允许更新。

ImportPath（可选，String）

用作 FSx for Lustre 文件系统数据存储库的 Amazon S3 存储桶的路径（包括可选前缀）。FSx for Lustre 文件系统的根目录将映射到您选择的 Amazon S3 桶的根目录。例如，s3://import-bucket/optional-prefix。如果您在 Amazon S3 名称后指定了前缀，则只将具有该前缀的对象键加载到文件系统。

注意

使用 PERSISTENT_2 部署类型的文件系统不支持此参数。按照适用于 Lustre 的 Amazon FSx 用户指南 中的将您的文件系统链接到 S3 桶，配置数据存储库关联。

更新策略：如果更改此设置，则不允许更新。

WeeklyMaintenanceStartTime（可选，String）

执行每周维护的首选开始时间。它采用 UTC+0 时区的 "d:HH:MM" 格式。对于此格式，d 是从 1 到 7 的星期几数字，从星期一开始，以星期日结束。此字段必须使用引号。

更新策略：可以在更新期间更改此设置。

AutomaticBackupRetentionDays（可选，Integer）

保留自动备份的天数。将此值设置为 0 将禁用自动备份。支持的范围是 0-90。默认值是 0。此设置仅在与 PERSISTENT_1 和 PERSISTENT_2 部署类型一起使用时有效。有关更多信息，请参阅 适用于 Lustre 的 Amazon FSx 用户指南 中的使用备份。

更新策略：可以在更新期间更改此设置。

CopyTagsToBackups（可选，Boolean）

如果为 true，则将 FSx for Lustre 文件系统的标签复制到备份中。此值默认为 false。如果设置为 true，则会将文件系统的所有标签复制到用户未指定标签的所有自动和用户启动的备份。如果此值为 true，并且指定了一个或多个标签，则仅将指定的标签复制到备份。如果您在创建用户启动的备份时指定了一个或多个标签，则不会从文件系统复制任何标签，无论此值如何。此设置仅在与 PERSISTENT_1 和 PERSISTENT_2 部署类型一起使用时有效。

更新策略：如果更改此设置，则不允许更新。

DailyAutomaticBackupStartTime（可选，String）

每天重复的时间，格式为 HH:MM。HH 是一天中的零填充小时 (00-23)。MM 是小时中的零填充分钟 (00-59)。例如，05:00 指定每天上午 5 点。此设置仅在与 PERSISTENT_1 和 PERSISTENT_2 部署类型一起使用时有效。

更新策略：可以在更新期间更改此设置。

PerUnitStorageThroughput（对 PERSISTENT_1 和 PERSISTENT_2 部署类型为必需，Integer）

描述每 1 TiB 存储的读取和写入吞吐量（以 MB/s/TiB 为单位）。文件系统吞吐能力是将通过文件系统存储容量（TiB）乘以 PerUnitStorageThroughput（MB/s/TiB）计算得出的。对于 2.4 TiB 文件系统，预置 50 MB/s/TiB 的 PerUnitStorageThroughput 将得到 120 MB/s 的文件系统吞吐量。您需要为预置的吞吐量付费。这与PerUnitStorageThroughput属性相对应。

有效值：

  • PERSISTENT_1 SSD 存储：50、100、200 MB/s/TiB。

  • PERSISTENT_1 HDD 存储：12、40 MB/s/TiB。

  • PERSISTENT_2 SSD 存储：125、250、500、1000 MB/s/TiB。

更新策略：如果更改此设置，则不允许更新。

BackupId（可选，String）

指定用于从现有备份还原 FSx for Lustre 文件系统的备份 ID。指定了 BackupId 设置时，不得指定 AutoImportPolicy、DeploymentType、ExportPath、KmsKeyId、ImportPath、ImportedFileChunkSize、StorageCapacity 和 PerUnitStorageThroughput 设置。这些设置将从备份中读取。此外，不得指定 AutoImportPolicy、ExportPath、ImportPath 和 ImportedFileChunkSize 设置。这与BackupId属性相对应。

更新策略：如果更改此设置，则不允许更新。

KmsKeyId（可选，String）

Amazon Key Management Service (Amazon KMS) 密钥 ID 的 ID，用于加密 FSx for Lustre 文件系统的数据，用于静态的 Lustre 文件系统的永久 FSx 数据。如果未指定，则使用 FSx for Lustre 托管密钥。SCRATCH_1 和 SCRATCH_2 FSx for Lustre 文件系统始终使用 FSx for Lustre 托管密钥进行静态加密。有关更多信息，请参阅 Amazon Key Management Service API 参考 中的 Encrypt。

更新策略：如果更改此设置，则不允许更新。

FileSystemId（可选，String）

指定现有 FSx for Lustre 文件系统的 ID。

如果指定了此选项，则仅使用 FsxLustreSettings 中的 MountDir 和 FileSystemId 设置。FsxLustreSettings 中的所有其他设置都将被忽略。

注意

如果使用 Amazon Batch 调度器，则 FSx for Lustre 仅在头节点上可用。

注意

该文件系统必须关联到通过端口 988、1021、1022 和 1023 允许入站和出站 TCP 流量的安全组。

通过执行以下操作之一，确保允许集群和文件系统之间的流量：

  • 配置文件系统的安全组以允许进出集群子网的 CIDR 或前缀列表的流量。

    注意

    Amazon ParallelCluster 验证端口是否已打开以及 CIDR 或前缀列表是否已配置。 Amazon ParallelCluster 不验证 CIDR 块或前缀列表的内容。

  • 通过使用 SlurmQueues/Networking/SecurityGroups 和 HeadNode/Networking/SecurityGroups，设置集群节点的自定义安全组。必须将自定义安全组配置为允许集群和文件系统之间的流量。

    注意

    如果所有集群节点都使用自定义安全组，则 Amazon ParallelCluster 仅验证端口是否已打开。 Amazon ParallelCluster 无法验证源和目标的配置是否正确。

更新策略：如果更改此设置，则不允许更新。

AutoImportPolicy（可选，String）

创建 FSx for Lustre 文件系统时，现有 Amazon S3 对象将显示为文件和目录列表。使用此属性可以选择 FSx for Lustre 如何在链接的 Amazon S3 存储桶中添加或修改对象时使您的文件和目录列表保持最新状态。AutoImportPolicy 可以具有以下值：

  • NEW：自动导入开启。FSx for Lustre 会自动导入添加到链接 Amazon S3 存储桶中但当前不存在于 FSx for Lustre 文件系统中的任何新对象的目录列表。

  • NEW_CHANGED：自动导入开启。在您选择此选项后，FSx for Lustre 会自动导入添加到 Amazon S3 桶的任何新对象的文件和目录列表，以及在 Amazon S3 桶中更改的任何现有对象。

  • NEW_CHANGED_DELETED：自动导入开启。选择此选项后，FSx for Lustre 会自动导入添加到 Amazon S3 桶的任何新对象、在 Amazon S3 桶中更改的任何现有对象，以及在 Amazon S3 桶中被删除的任何对象的文件和目录列表。

    注意

    在 Amazon ParallelCluster 版本 3.1.1 中添加了对 NEW_CHANGED_DELETED 的支持。

如果未指定 AutoImportPolicy，则关闭自动导入。FSx for Lustre 仅在创建文件系统时更新链接的 Amazon S3 桶中的文件和目录列表。选择此选项后，FSx for Lustre 不会更新任何新对象或更改对象的文件和目录列表。

有关更多信息，请参阅适用于 Lustre 的 Amazon FSx 用户指南 中的自动从 S3 桶导入更新。

注意

使用 PERSISTENT_2 部署类型的文件系统不支持此参数。有关如何配置数据存储库关联的说明，请参阅 适用于 Lustre 的 Amazon FSx 用户指南 中的将您的文件系统链接到 S3 桶。

更新策略：如果更改此设置，则不允许更新。

DriveCacheType（可选，String）

指定文件系统具有 SSD 驱动器缓存。只有将 StorageType 设置设为 HDD，且将 DeploymentType 设置设为 PERSISTENT_1，才能设置此选项。这与DriveCacheType属性相对应。有关更多信息，请参阅适用于 Lustre 的 Amazon FSx 用户指南 中的 FSx for Lustre 部署选项。

唯一有效值为 READ。要禁用 SSD 驱动器缓存，请不要指定 DriveCacheType 设置。

更新策略：如果更改此设置，则不允许更新。

StorageType（可选，String）

设置要创建的 FSx for Lustre 文件系统的存储类型。有效值为 SSD 和 HDD。

  • 设置为 SSD 以使用固态驱动器存储。

  • 设置为 HDD 以使用硬盘驱动器存储。PERSISTENT 部署类型支持 HDD。

默认值为 SSD。有关更多信息，请参阅适用于 Windows 的 Amazon FSx 用户指南 中的存储类型选项和适用于 Lustre 的 Amazon FSx 用户指南 中的多存储选项。

更新策略：如果更改此设置，则不允许更新。

DeletionPolicy（可选，String）

指定从集群中删除文件系统或删除集群时，是应保留还是删除文件系统。支持的值是 Delete 和 Retain。默认值为 Delete。

如果设置DeletionPolicy为Delete，则如果删除了群集，或者如果通过群集更新删除了文件系统，则会删除托管文件系统及其数据。

有关更多信息，请参阅 共享存储。

更新策略：可以在更新期间更改此设置。

注意

DeletionPolicy从 3.3.0 Amazon ParallelCluster 版开始受支持。

DataRepositoryAssociations（可选，String）

DRA 列表（每个文件系统最多 8 个）

每个数据存储库关联都必须具有唯一的 Amazon FSx 文件系统目录以及与之关联的唯一 S3 存储桶或前缀。

不能ImportPath在使用 DR FsxLustreSettings A 的同时使用ExportPath和。

更新策略：可以在更新期间更改此设置。

Name（必需，String）

DRA 的名称。可以在更新设置时使用此名称。

更新策略：如果更改此设置，则不允许更新。

BatchImportMetaDataOnCreate（可选，Boolean）

一种布尔标志，指示是否应在创建数据存储库关联后运行用于导入元数据的导入数据存储库任务。如果将此标志设置为 true，则该任务将运行。

默认值：false

更新策略：如果更改此设置，则不允许更新。

DataRepositoryPath（必需，String）

要链接到文件系统的 Amazon S3 数据存储库的路径。该路径可以是 S3 存储桶或格式 s3://myBucket/myPrefix/ 的前缀。此路径指定 S3 数据存储库文件将从中导入或导出到的位置。

不能与其他 DRA 重叠

模式：^[^\u0000\u0085\u2028\u2029\r\n]{3,4357}$

最低：3

最高：4357

更新策略：如果更改此设置，则不允许更新。

FileSystemPath（必需，String）

Amazon FSx for Lustre 文件系统上的路径，指向将与 DataRepositoryPath 1-1 映射的高级目录（如 /ns1/）或子目录（如 /ns1/subdir/）。名称中的前导正斜杠必填。两个数据存储库关联不能具有重叠的文件系统路径。例如，如果数据存储库与文件系统路径 /ns1/ 相关联，则您无法将另一个数据存储库与文件系统路径 /ns1/ns2 相关联。

此路径指定文件将在您的文件系统中的哪个位置导出或导入到哪个位置。只能将此文件系统目录链接到一个 Amazon S3 桶，而不能将其他 S3 桶链接到该目录。

不能与其他 DRA 重叠

注意

如果您仅指定正斜杠 (/) 作为文件系统路径，则只能将一个数据存储库链接到文件系统。您只能指定 “/” 作为与文件系统关联的第一个数据存储库的文件系统路径。

模式：^[^\u0000\u0085\u2028\u2029\r\n]{1,4096}$

最低：1

最高：4096

更新策略：如果更改此设置，则不允许更新。

ImportedFileChunkSize（可选，Integer）

对于从数据存储库导入的文件，此值决定单个物理磁盘上存储的每个文件的条带计数和最大数据量（以 MiB 为单位）。可以对单个文件进行条带化的最大磁盘数受构成文件系统或缓存的总磁盘数限制。

默认区块大小为 1024MiB（1GiB），最大值能够达到 512000MiB（500GiB）。Amazon S3 数据元的最大大小为 5 TB。

最低：1

最高：4096

更新策略：可以在更新期间更改此设置。

AutoExportPolicy（可选，Array of strings）

该列表可以包含以下一个或多个值：

  • NEW - 新文件和目录将在添加到文件系统时自动导出到数据存储库。

  • CHANGED - 对文件系统上的文件和目录所做的更改将自动导出到数据存储库。

  • DELETED - 在文件系统上删除文件和目录后，将在数据存储库中自动删除这些文件和目录。

您可以为您的 AutoExportPolicy 定义事件类型的任意组合。

最高：3

更新策略：可以在更新期间更改此设置。

AutoImportPolicy（可选，Array of strings）

该列表可以包含以下一个或多个值：

  • NEW - Amazon FSx 将自动导入添加到已链接的 S3 桶中但当前不存在于 FSx 文件系统中的文件的元数据。

  • CHANGED - 当数据存储库中的文件发生更改时，Amazon FSx 将自动更新文件元数据，并使文件系统中的现有文件内容无效。

  • DELETED - Amazon FSx 将在数据存储库中删除相应文件时自动删除文件系统中的文件。

您可以为您的 AutoImportPolicy 定义事件类型的任意组合。

最高：3

更新策略：可以在更新期间更改此设置。

FsxOntapSettings

注意

如果为 StorageType 指定了 FsxOntap，则必须定义 FsxOntapSettings。

（可选）适用于 ONTAP 的 FSx 文件系统的设置。

FsxOntapSettings:
  VolumeId: string

FsxOntapSettings 属性

VolumeId（必需，String）

指定现有适用于 ONTAP 的 FSx 系统的卷 ID。

注意

  • 如果使用 Amazon Batch 调度程序，则适用于 ONTAP 的 FSx 仅在头节点上可用。

  • 如果适用于 ONTAP 的 FSx 部署类型为 Multi-AZ，请确保正确配置头节点子网的路由表。

  • 版本 3.2.0 中增加了对 ONTAP 的 FSx 的 Amazon ParallelCluster 支持。

  • 该文件系统必须关联到通过端口 111、635、2049 和 4046 允许入站和出站 TCP 和 UDP 流量的安全组。

通过执行以下操作之一，确保允许集群和文件系统之间的流量：

  • 配置文件系统的安全组以允许进出集群子网的 CIDR 或前缀列表的流量。

    注意

    Amazon ParallelCluster 验证端口是否已打开以及 CIDR 或前缀列表是否已配置。 Amazon ParallelCluster 不验证 CIDR 块或前缀列表的内容。

  • 通过使用 SlurmQueues/Networking/SecurityGroups 和 HeadNode/Networking/SecurityGroups，设置集群节点的自定义安全组。必须将自定义安全组配置为允许集群和文件系统之间的流量。

    注意

    如果所有集群节点都使用自定义安全组，则 Amazon ParallelCluster 仅验证端口是否已打开。 Amazon ParallelCluster 无法验证源和目标的配置是否正确。

更新策略：如果更改此设置，则不允许更新。

FsxOpenZfsSettings

注意

如果为 StorageType 指定了 FsxOpenZfs，则必须定义 FsxOpenZfsSettings。

（可选）适用于 OpenZFS 的 FSx 文件系统的设置。

FsxOpenZfsSettings:
  VolumeId: string

更新策略：如果更改此设置，则不允许更新。

FsxOpenZfsSettings 属性

VolumeId（必需，String）

指定现有适用于 OpenZFS 的 FSx 系统的卷 ID。

注意

  • 如果使用 Amazon Batch 调度程序，则适用于 OpenZFS 的 FSx 仅在头节点上可用。

  • 3.2.0 版本中增加了对 OpenZFS 版 FSX 的支持。 Amazon ParallelCluster

  • 该文件系统必须关联到通过端口 111、2049、20001、20002 和 20003 允许入站和出站 TCP 和 UDP 流量的安全组。

通过执行以下操作之一，确保允许集群和文件系统之间的流量：

  • 配置文件系统的安全组以允许进出集群子网的 CIDR 或前缀列表的流量。

    注意

    Amazon ParallelCluster 验证端口是否已打开以及 CIDR 或前缀列表是否已配置。 Amazon ParallelCluster 不验证 CIDR 块或前缀列表的内容。

  • 通过使用 SlurmQueues/Networking/SecurityGroups 和 HeadNode/Networking/SecurityGroups，设置集群节点的自定义安全组。必须将自定义安全组配置为允许集群和文件系统之间的流量。

    注意

    如果所有集群节点都使用自定义安全组，则 Amazon ParallelCluster 仅验证端口是否已打开。 Amazon ParallelCluster 无法验证源和目标的配置是否正确。

更新策略：如果更改此设置，则不允许更新。

FileCacheSettings

注意

如果为 StorageType 指定了 FileCache，则必须定义 FileCacheSettings。

（可选）文件缓存的设置。

FileCacheSettings:
  FileCacheId: string

更新策略：如果更改此设置，则不允许更新。

FileCacheSettings 属性

FileCacheId（必需，String）

指定现有文件缓存的文件缓存 ID。

注意

  • 文件缓存不支持 Amazon Batch 调度程序。

  • 3.7.0 Amazon ParallelCluster 版本中增加了对文件缓存的支持。

  • 该文件系统必须关联到通过端口 988 允许入站和出站 TCP 流量的安全组。

通过执行以下操作之一，确保允许集群和文件系统之间的流量：

  • 配置文件缓存的安全组以允许进出集群子网的 CIDR 或前缀列表的流量。

    注意

    Amazon ParallelCluster 验证端口是否已打开以及 CIDR 或前缀列表是否已配置。 Amazon ParallelCluster 不验证 CIDR 块或前缀列表的内容。

  • 通过使用 SlurmQueues/Networking/SecurityGroups 和 HeadNode/Networking/SecurityGroups，设置集群节点的自定义安全组。必须将自定义安全组配置为允许集群和文件系统之间的流量。

    注意

    如果所有集群节点都使用自定义安全组，则 Amazon ParallelCluster 仅验证端口是否已打开。 Amazon ParallelCluster 无法验证源和目标的配置是否正确。

更新策略：如果更改此设置，则不允许更新。