本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
SharedStorage
部分
(可选)集群的共享存储设置。
Amazon ParallelCluster 支持将 Amazon EBS FSx 用于ONTAP和FSx用于开放ZFS共享存储卷、Amazon EFS 和 FSxLustre 共享存储文件系统或文件缓存。
在 SharedStorage
部分中,您可以定义外部存储或托管存储:
-
外部存储是指您管理的现有卷或文件系统。 Amazon ParallelCluster 不会创建或删除它。
-
Amazon ParallelCluster 托管存储是指 Amazon ParallelCluster 创建并可以删除的卷或文件系统。
有关共享存储配额以及有关配置共享存储的更多信息,请参阅使用 Amazon ParallelCluster 中的共享存储。
注意
如果 Amazon Batch 用作调度程序,FSx则 Lustre 仅在群集头节点上可用。
SharedStorage: - MountDir:
string
Name:string
StorageType: Ebs EbsSettings: VolumeType:string
Iops:integer
Size:integer
Encrypted:boolean
KmsKeyId:string
SnapshotId:string
Throughput:integer
VolumeId:string
DeletionPolicy:string
Raid: Type:string
NumberOfVolumes:integer
- MountDir:string
Name:string
StorageType: Efs EfsSettings: Encrypted:boolean
KmsKeyId:string
EncryptionInTransit:boolean
IamAuthorization:boolean
PerformanceMode:string
ThroughputMode:string
ProvisionedThroughput:integer
FileSystemId:string
DeletionPolicy:string
AccessPointId:string
- MountDir:string
Name:string
StorageType: FsxLustre FsxLustreSettings: StorageCapacity:integer
DeploymentType:string
ImportedFileChunkSize:integer
DataCompressionType:string
ExportPath:string
ImportPath:string
WeeklyMaintenanceStartTime:string
AutomaticBackupRetentionDays:integer
CopyTagsToBackups:boolean
DailyAutomaticBackupStartTime:string
PerUnitStorageThroughput:integer
BackupId:string
KmsKeyId:string
FileSystemId:string
AutoImportPolicy:string
DriveCacheType:string
StorageType:string
DeletionPolicy:string
DataRepositoryAssociations: - Name:string
BatchImportMetaDataOnCreate:boolean
DataRepositoryPath:string
FileSystemPath:string
ImportedFileChunkSize:integer
AutoExportPolicy:string
AutoImportPolicy:string
- MountDir:string
Name:string
StorageType: FsxOntap FsxOntapSettings: VolumeId:string
- MountDir:string
Name:string
StorageType: FsxOpenZfs FsxOpenZfsSettings: VolumeId:string
- MountDir:string
Name:string
StorageType: FileCache FileCacheSettings: FileCacheId:string
SharedStorage
更新策略
-
对于托管/外部EBS、托管EFS和托管 FSx Lustre,更新策略是 更新策略:对于此列表值设置,必须停止计算实例集或必须设置 QueueUpdateStrategy 才能添加新值;删除现有值时必须停止计算实例集。
-
对于外部缓存EFS、FSx Lustre FSx OpenZfs 和 File Cache,更新策略是,FSxONTAP更新策略:可以在更新期间更改此设置。
SharedStorage
属性
MountDir
(必需,String
)-
共享存储的挂载路径。
Name
(必需,String
)-
共享存储的名称。可以在更新设置时使用此名称。
警告
如果您指定了 Amazon ParallelCluster 托管共享存储,并且更改了的值
Name
,则会删除现有的托管共享存储和数据,并创建新的托管共享存储。通过集群更新来更改Name
的值等同于用新的托管共享存储替换现有的托管共享存储。如果您需要保留现有共享存储中的数据,请确保在更改Name
之前备份数据。更新策略:对于此列表值设置,必须停止计算实例集或必须设置 QueueUpdateStrategy 才能添加新值;删除现有值时必须停止计算实例集。
StorageType
(必需,String
)-
共享存储的类型。支持的值为
Ebs
、Efs
、FsxLustre
、FsxOntap
和FsxOpenZfs
。有关更多信息,请参阅FsxLustreSettings、FsxOntapSettings和FsxOpenZfsSettings。
注意
如果您 Amazon Batch 用作调度程序,FSx则 Lustre 仅在群集头节点上可用。
EbsSettings
(可选)Amazon EBS 卷的设置。
EbsSettings: VolumeType:
string
Iops:integer
Size:integer
Encrypted:boolean
KmsKeyId:string
SnapshotId:string
VolumeId:string
Throughput:integer
DeletionPolicy:string
Raid: Type:string
NumberOfVolumes:integer
EbsSettings
属性
当设置DeletionPolicy为时Delete
,如果集群被删除或通过群集更新移除该卷,则该托管卷及其数据将被删除。
有关更多信息,请参阅使用 Amazon ParallelCluster 中的共享存储。
VolumeType
(可选,String
)-
指定 A mazon EBS 卷类型。支持的值为
gp2
、gp3
、io1
、io2
、sc1
、st1
和standard
。默认值为gp3
。有关更多信息,请参阅《亚马逊EC2用户指南》中的 Amazon EBS 卷类型。
Iops
(可选,Integer
)-
定义
io1
、io2
和 tgp3
ype 卷的数量。IOPS默认值、支持的值以及
volume_size
/volume_iops
比率因VolumeType
和Size
而异。VolumeType
=io1
-
默认值:
Iops
= 100支持的值:
Iops
= 100–64000 †每个 GiB 的最大
volume_iops
volume_size
与比 = 50 IOPS。5000 IOPS 需要至少 100volume_size
GiB 的。 VolumeType
=io2
-
默认值:
Iops
= 100支持的值:
Iops
= 100–64000(io2
Block Express 卷为 256000)†每个 GiB 的最大
Iops
Size
与比 = 50 IOPS 0。5000 IOPS 需要至少 10Size
GiB 的。 VolumeType
=gp3
-
默认值:
Iops
= 3000支持的值:
Iops
= 3000–16000每个 GiB 的最大
Iops
Size
与比 = 50 IOPS 0。5000 IOPS 需要至少 10Size
GiB 的。
† 只有在配置超过 32,000 IOPS 的 Nitro 系统上构建的实例才能保证最大值。IOPS其他实例保证最高可达 32,000 个IOPS。除非您修改卷,否则较早的
io1
卷可能无法实现完全性能。io2
Block Express 卷在R5b
实例类型上支持高达 256000 的volume_iops
值。有关更多信息,请参阅《亚马逊EC2用户指南》中的 “io2
屏蔽 Express 卷”。 Size
(可选,Integer
)-
指定卷大小,以吉字节 (GiB) 为单位。默认值为 35。
Encrypted
(可选,Boolean
)-
指定是否对卷进行加密。默认值为
true
。 KmsKeyId
(可选,String
)-
指定用于加密的自定义 Amazon KMS 密钥。此设置要求将
Encrypted
设置设为true
。 SnapshotId
(可选,String
)-
如果您使用EBS快照作为卷的来源,请指定 Amazon 快照 ID。
VolumeId
(可选,String
)-
指定 Amazon EBS 卷号。为
EbsSettings
实例指定此参数后,还可以并且只能指定MountDir
参数。必须在
HeadNode
所在的同一可用区中创建卷。注意
3.4.0 Amazon ParallelCluster 版本中添加了多个可用区。
Throughput
(可选,Integer
)-
吞吐量,在MiB/s to provision for a volume, with a maximum of 1,000 MiB/s。
此设置仅在
VolumeType
为gp3
时有效。支持的范围为 125 到 1000,默认值为 125。 DeletionPolicy
(可选,String
)-
指定删除集群或删除卷时是保留卷、删除卷还是创建快照。支持的值为
Delete
、Retain
和Snapshot
。默认值为Delete
。当DeletionPolicy设置为时
Delete
,如果集群被删除或通过群集更新移除该卷,则该托管卷及其数据将被删除。有关更多信息,请参阅 共享存储。
注意
DeletionPolicy
从 3.2.0 Amazon ParallelCluster 版开始受支持。
Raid
(可选)定义RAID卷的配置。
Raid: Type:
string
NumberOfVolumes:integer
Raid
属性
Type
(必需,String
)-
定义数RAID组的类型。支持的值为“0”(条带)和“1”(镜像)。
NumberOfVolumes
(可选,Integer
)-
定义用于创建RAID阵列的 Amazon EBS 卷的数量。支持的值范围为 2-5。默认值(定义了
Raid
设置时)为 2。
EfsSettings
(可选)Amazon EFS 文件系统的设置。
EfsSettings: Encrypted:
boolean
KmsKeyId:string
EncryptionInTransit:boolean
IamAuthorization:boolean
PerformanceMode:string
ThroughputMode:string
ProvisionedThroughput:integer
FileSystemId:string
DeletionPolicy:string
AccessPointId:string
EfsSettings
属性
当DeletionPolicy设置为时Delete
,如果删除了群集,或者如果通过群集更新删除了文件系统,则会删除托管文件系统及其数据。
有关更多信息,请参阅使用 Amazon ParallelCluster 中的共享存储。
Encrypted
(可选,Boolean
)-
指定 Amazon EFS 文件系统是否已加密。默认值为
false
。 KmsKeyId
(可选,String
)-
指定用于加密的自定义 Amazon KMS 密钥。此设置要求将
Encrypted
设置设为true
。 EncryptionInTransit
(可选,Boolean
)-
如果设置为
true
,则使用传输层安全 (TLS) 挂载 Amazon EFS 文件系统。默认情况下,该选项设置为false
。注意
Amazon Batch 如果用作调度程序,则
EncryptionInTransit
不支持。注意
从 Amazon ParallelCluster 版本 3.4.0 开始添加了
EncryptionInTransit
。 IamAuthorization
(可选,Boolean
)-
IamAuthorization
是从 3.4.0 Amazon ParallelCluster 版本开始添加的。如果设置为
true
,EFS则使用系统的身份对 Amazon 进行IAM身份验证。默认情况下,该选项设置为false
。注意
如果
IamAuthorization
被设置为true
,则EncryptionInTransit
也必须被设置为true
。注意
Amazon Batch 如果用作调度程序,则
IamAuthorization
不支持。 PerformanceMode
(可选,String
)-
指定 Amazon EFS 文件系统的性能模式。支持的值为
generalPurpose
和maxIO
。默认值为generalPurpose
。有关更多信息,请参阅 Amazon Elastic File System User Guide 中的 Performance modes。对于大多数文件系统,我们推荐使用
generalPurpose
性能模式。使用
maxIO
性能模式的文件系统可以扩展到更高级别的聚合吞吐量和每秒操作数。但是,对于大多数文件操作来说,代价是稍高的延迟。 ThroughputMode
(可选,String
)-
指定 Amazon EFS 文件系统的吞吐量模式。支持的值为
bursting
和provisioned
。默认值为bursting
。使用provisioned
时,必须指定ProvisionedThroughput
。 ProvisionedThroughput
(ThroughputMode
为provisioned
时必需,Integer
)-
定义预配置的吞吐量(在。MiB/s) of the Amazon EFS file system, measured in MiB/s这与 Amazon EFS API 参考中的ProvisionedThroughputInMibps参数相对应。
如果您使用了此参数,则必须将
ThroughputMode
设置为provisioned
。支持的范围是
1
-1024
。要请求提高限制,请联系 Amazon Web Services Support。 FileSystemId
(可选,String
)-
定义现有EFS文件系统的 Amazon 文件系统 ID。
如果集群配置为跨越多个可用区,则必须在集群使用的每个可用区中定义一个文件系统挂载目标。
指定了此参数时,只能指定
MountDir
。不能指定其他EfsSettings
。如果设置此选项,则定义的文件系统必须符合以下要求:
-
文件系统在集群的每个可用区中都有一个现有的挂载目标,允许来自和的入站和出站NFS流量
ComputeNodes
。HeadNode
在计划//网络 SlurmQueues/中配置了多个可用区SubnetIds。为确保允许集群和文件系统之间的流量,您可以执行以下操作之一:
-
配置挂载目标的安全组以允许进出集群子网CIDR或前缀列表的流量。
注意
Amazon ParallelCluster 验证端口是否已打开以及CIDR或前缀列表是否已配置。 Amazon ParallelCluster 不验证CIDR区块列表或前缀列表的内容。
-
通过使用 SlurmQueues/Networking/SecurityGroups 和 HeadNode/Networking/SecurityGroups,设置集群节点的自定义安全组。必须将自定义安全组配置为允许集群和文件系统之间的流量。
注意
如果所有集群节点都使用自定义安全组,则 Amazon ParallelCluster 仅验证端口是否已打开。 Amazon ParallelCluster 无法验证源和目标的配置是否正确。
-
警告
EFS OneZone 仅当所有计算节点和头节点都在同一个可用区中时才支持。 EFS OneZone 只能有一个坐骑目标。
注意
3.4.0 Amazon ParallelCluster 版本中添加了多个可用区。
-
DeletionPolicy
(可选,String
)-
指定从集群中删除文件系统或删除集群时,是应保留还是删除文件系统。支持的值是
Delete
和Retain
。默认值为Delete
。如果设置DeletionPolicy为
Delete
,则如果删除了群集,或者如果通过群集更新删除了文件系统,则会删除托管文件系统及其数据。有关更多信息,请参阅 共享存储。
注意
DeletionPolicy
从 3.3.0 Amazon ParallelCluster 版开始受支持。 AccessPointId
(可选,String
)-
如果指定了该选项,将挂载由
access point ID
定义的文件系统入口点,而不是文件系统根目录。有关更多信息,请参阅 共享存储。
FsxLustreSettings
注意
如果为 StorageType 指定了 FsxLustre
,则必须定义 FsxLustreSettings
。
(可选)适用FSx于 Lustre 文件系统的设置。
FsxLustreSettings: StorageCapacity:
integer
DeploymentType:string
ImportedFileChunkSize:integer
DataCompressionType:string
ExportPath:string
ImportPath:string
WeeklyMaintenanceStartTime:string
AutomaticBackupRetentionDays:integer
CopyTagsToBackups:boolean
DailyAutomaticBackupStartTime:string
PerUnitStorageThroughput:integer
BackupId:string
# BackupId cannot coexist with some of the fields KmsKeyId:string
FileSystemId:string
# FileSystemId cannot coexist with other fields AutoImportPolicy:string
DriveCacheType:string
StorageType:string
DeletionPolicy:string
注意
如果 Amazon Batch 用作调度程序,FSx则 Lustre 仅在群集头节点上可用。
FsxLustreSettings
属性
如果设置DeletionPolicy为Delete
,则如果删除了群集,或者如果通过群集更新删除了文件系统,则会删除托管文件系统及其数据。
有关更多信息,请参阅 共享存储。
StorageCapacity
(必需,Integer
)-
设置 Lustre 文件系统的存储容量,以 GiB FSx 为单位。
StorageCapacity
如果要创建新的文件系统,则为必填项。如果指定了BackupId
或FileSystemId
,则不要包含StorageCapacity
。-
对于
SCRATCH_2
、PERSISTENT_1
和PERSISTENT_2
部署类型,有效值为 1200 GiB、2400 GiB,并以 2400 GiB 为增量。 -
对于
SCRATCH_1
部署类型,有效值为 1200 GiB、2400 GiB,并以 3600 GiB 为增量。
-
DeploymentType
(可选,String
)-
指定 Lustre 文件系统的部署类型。FSx支持的值有
SCRATCH_1
、SCRATCH_2
、PERSISTENT_1
和PERSISTENT_2
。默认值为SCRATCH_2
。当您需要临时存储和短期处理数据时,请选择
SCRATCH_1
和SCRATCH_2
部署类型。SCRATCH_2
部署类型提供了数据的传输中加密,以及比SCRATCH_1
更高的突发吞吐能力。对于长期存储以及侧重于吞吐量的延迟不敏感型工作负载,请选择
PERSISTENT_1
部署类型。PERSISTENT_1
支持传输中数据加密。它在所有可用 Lustr FSx e Amazon Web Services 区域 的地方都可用。为长期存储以及需要最高水平IOPS和吞吐量的延迟敏感型工作负载选择
PERSISTENT_2
部署类型。PERSISTENT_2
支持SSD存储空间并提供更高的存储空间PerUnitStorageThroughput
(高达 1000 MB/s/TiB)。PERSISTENT_2
数量有限 Amazon Web Services 区域。有关部署类型和可用 Amazon Web Services 区域 位置PERSISTENT_2
列表的更多信息,请参阅《Amazon FSx for Lustre 用户指南》中的 Lustre 文件系统部署选项。FSx当您从支持此功能的 Amazon EC2 实例访问
SCRATCH_2
PERSISTENT_1
、或PERSISTENT_2
部署类型的文件系统时,会自动启用传输中数据的加密。从受支持的 Amazon Web Services 区域中受支持的实例类型进行访问时,支持
SCRATCH_2
、PERSISTENT_1
和PERSISTENT_2
部署类型的传输中数据加密。有关更多信息,请参阅 Amazon for Lustre 用户指南FSx中的加密传输中的数据。注意
从 Amazon ParallelCluster 版本 3.2.0 开始增加了对
PERSISTENT_2
部署类型的支持。 ImportedFileChunkSize
(可选,Integer
)-
对于从数据存储库导入的文件,此值决定单个物理磁盘上存储的每个文件的条带计数和最大数据量(以 MiB 为单位)。可以对单个文件进行条带化的最大磁盘数受构成文件系统的总磁盘数限制。
默认区块大小为 1024MiB(1GiB),最大值能够达到 512000MiB(500GiB)。Amazon S3 数据元的最大大小为 5 TB。
注意
使用
PERSISTENT_2
部署类型的文件系统不支持此参数。有关如何配置数据存储库关联的说明,请参阅 Amazon FSx for Lustre 用户指南中的将文件系统关联到 S3 存储桶。 DataCompressionType
(可选,String
)-
为 Lustre 文件系统设置数据压缩配置。FSx支持的值为
LZ4
。LZ4
表示该LZ4算法已开启数据压缩。如果未指定DataCompressionType
,则在创建文件系统时关闭数据压缩。有关更多信息,请参阅 Lustre 数据压缩。
ExportPath
(可选,String
)-
Amazon S3 中导出您FSx的 for Lustre 文件系统根目录的路径。仅当指定了
ImportPath
参数时支持此设置。该路径必须使用在ImportPath
中指定的相同 Amazon S3 存储桶。您可以提供一个可选的前缀,用于从 for Lustre 文件系统中导出新数据和更改数据。FSx如果未提供ExportPath
值,则FSx为 Lustre 设置默认导出路s3://
径。例如amzn-s3-demo-bucket
/FSxLustre[creation-timestamp]s3://
,时间戳UTC采用格式。amzn-s3-demo-bucket
/FSxLustre20181105T222312ZAmazon S3 导出桶必须与
ImportPath
指定的导入桶相同。如果仅指定存储桶名称(例如s3://
),则会获得文件系统对象与 Amazon S3 存储桶对象的 1:1 映射。此映射意味着 Amazon S3 中的输入数据会在导出时被覆盖。如果您在导出路径中提供了自定义前缀(例如amzn-s3-demo-bucket
s3://
),则 Lustre 会将文件系统的内容导出到 Amazon S3 存储桶中的该导出前缀。FSxamzn-s3-demo-bucket
/[custom-optional-prefix]注意
使用
PERSISTENT_2
部署类型的文件系统不支持此参数。按照《Amaz FSx on for Lustre 用户指南》中的将文件系统链接到 S3 存储桶中所述配置数据存储库关联。 ImportPath
(可选,String
)-
您用作 for Lustre 文件系统数据存储库的 Amazon S3 存储桶的路径(包括可选前缀)。FSx您FSx的 for Lustre 文件系统的根目录将映射到您选择的 Amazon S3 存储桶的根目录。例如,
s3://
。如果您在 Amazon S3 名称后指定了前缀,则只将具有该前缀的对象键加载到文件系统。amzn-s3-demo-bucket
/optional-prefix注意
使用
PERSISTENT_2
部署类型的文件系统不支持此参数。按照《Amaz FSx on for Lustre 用户指南》中的将文件系统链接到 S3 存储桶中所述配置数据存储库关联。 WeeklyMaintenanceStartTime
(可选,String
)-
执行每周维护的首选开始时间。它采用 UTC +0 时区的
"d:HH:MM"
格式。对于此格式,d
是从 1 到 7 的星期几数字,从星期一开始,以星期日结束。此字段必须使用引号。 AutomaticBackupRetentionDays
(可选,Integer
)-
保留自动备份的天数。将此值设置为 0 将禁用自动备份。支持的范围是 0-90。默认值是 0。此设置仅在与
PERSISTENT_1
和PERSISTENT_2
部署类型一起使用时有效。有关更多信息,请参阅《Amazon FSx for Lustre 用户指南》中的使用备份。 CopyTagsToBackups
(可选,Boolean
)-
如果是
true
,请将 for Lustre 文件系统的标签复制到备份中。FSx此值默认为false
。如果设置为true
,则会将文件系统的所有标签复制到用户未指定标签的所有自动和用户启动的备份。如果此值为true
,并且指定了一个或多个标签,则仅将指定的标签复制到备份。如果您在创建用户启动的备份时指定了一个或多个标签,则不会从文件系统复制任何标签,无论此值如何。此设置仅在与PERSISTENT_1
和PERSISTENT_2
部署类型一起使用时有效。 DailyAutomaticBackupStartTime
(可选,String
)-
每天重复的时间,格式为
HH:MM
。HH
是一天中的零填充小时 (00-23)。MM
是小时中的零填充分钟 (00-59)。例如,05:00
指定每天上午 5 点。此设置仅在与PERSISTENT_1
和PERSISTENT_2
部署类型一起使用时有效。 PerUnitStorageThroughput
(对PERSISTENT_1
和PERSISTENT_2
部署类型为必需,Integer
)-
描述每 1 TiB 存储的读取和写入吞吐量(以 MB/s/TiB 为单位)。文件系统吞吐容量的计算方法是将文件系统存储容量 (TiB) 乘以
PerUnitStorageThroughput
(MB/s/TiB). For a 2.4 TiB file system, provisioning 50 MB/s/TiBof),得出 120 MB/s 的文件系统吞吐PerUnitStorageThroughput
量。您需要为预置的吞吐量付费。这与该PerUnitStorageThroughput属性相对应。有效值:
-
PERSISTENT_1 SSD 存储空间:50、100、200 MB/s/Tib。
-
PERSISTENT_1 HDD 存储空间:12、40 MB/s/TiB。
-
PERSISTENT_2 SSD 存储空间:125、250、500、1000 MB/s/Tib。
-
BackupId
(可选,String
)-
指定用于从现有备份中恢复 for Lustre 文件系统的备份 ID。FSx指定了
BackupId
设置时,不得指定AutoImportPolicy
、DeploymentType
、ExportPath
、KmsKeyId
、ImportPath
、ImportedFileChunkSize
、StorageCapacity
和PerUnitStorageThroughput
设置。这些设置将从备份中读取。此外,不得指定AutoImportPolicy
、ExportPath
、ImportPath
和ImportedFileChunkSize
设置。这与该BackupId属性相对应。 KmsKeyId
(可选,String
)-
Amazon Key Management Service (Amazon KMS) 密钥 ID 的 ID,用于加密 for Lustre 文件系统的数据,使静态的 Lustre 文件系统具有永久性FSx。FSx如果未指定,则使用 f FSx or Lustre 托管密钥。Lustre 文件系统的
SCRATCH_1
和SCRATCH_2
FSx始终使用 Lustre 托管密钥FSx进行静态加密。有关更多信息,请参阅Amazon Key Management Service API参考中的加密。 FileSystemId
(可选,String
)-
指定 Lustre 现有FSx文件系统的 ID。
如果指定了此选项,则仅使用
FsxLustreSettings
中的MountDir
和FileSystemId
设置。FsxLustreSettings
中的所有其他设置都将被忽略。注意
如果使用 Amazon Batch 调度器,则 fo FSx r Lustre 仅在头节点上可用。
注意
文件系统必须与允许入站和出站TCP流量通过端口 988、1021、1022 和 1023 的安全组相关联。
通过执行以下操作之一,确保允许集群和文件系统之间的流量:
-
配置文件系统的安全组以允许进出集群子网CIDR或前缀列表的流量。
注意
Amazon ParallelCluster 验证端口是否已打开以及CIDR或前缀列表是否已配置。 Amazon ParallelCluster 不验证CIDR区块列表或前缀列表的内容。
-
通过使用 SlurmQueues/Networking/SecurityGroups 和 HeadNode/Networking/SecurityGroups,设置集群节点的自定义安全组。必须将自定义安全组配置为允许集群和文件系统之间的流量。
注意
如果所有集群节点都使用自定义安全组,则 Amazon ParallelCluster 仅验证端口是否已打开。 Amazon ParallelCluster 无法验证源和目标的配置是否正确。
-
AutoImportPolicy
(可选,String
)-
当您创建 f FSx or Lustre 文件系统时,您的现有 Amazon S3 对象将显示为文件和目录列表。使用此属性选择 Lustre 在关联的 Amazon S3 存储桶中添加或修改对象时如何FSx使您的文件和目录列表保持最新。
AutoImportPolicy
可以有以下值:-
NEW
-自动导入已开启。 FSxfor Lustre 会自动导入添加到链接的 Amazon S3 存储桶中且当前不存在于 for Lustre 文件系统中的任何新对象FSx的目录列表。 -
NEW_CHANGED
-自动导入已开启。 FSxfor Lustre 会自动导入添加到 Amazon S3 存储桶中的任何新对象以及选择此选项后在 Amazon S3 存储桶中更改的任何现有对象的文件和目录列表。 -
NEW_CHANGED_DELETED
-自动导入已开启。 FSxfor Lustre 会自动导入添加到 Amazon S3 存储桶中的任何新对象、在 Amazon S3 存储桶中更改的任何现有对象以及您选择此选项后在 Amazon S3 存储桶中删除的所有对象的文件和目录列表。注意
在 Amazon ParallelCluster 版本 3.1.1 中增加了对
NEW_CHANGED_DELETED
的支持。
如果
AutoImportPolicy
未指定,则关闭自动导入。 FSxfor Lustre 仅在创建文件系统时更新链接的 Amazon S3 存储桶中的文件和目录列表。 FSx选择此选项后,for Lustre 不会更新任何新对象或已更改对象的文件和目录列表。有关更多信息,请参阅 Amaz FSx on for Lustre 用户指南中的自动从 S3 存储桶导入更新。
注意
使用
PERSISTENT_2
部署类型的文件系统不支持此参数。有关如何配置数据存储库关联的说明,请参阅 Amazon FSx for Lustre 用户指南中的将文件系统关联到 S3 存储桶。 -
DriveCacheType
(可选,String
)-
指定文件系统具有SSD驱动器缓存。只有将
StorageType
设置设为HDD
,且将DeploymentType
设置设为PERSISTENT_1
,才能设置此选项。这与该DriveCacheType属性相对应。有关更多信息,FSx请参阅《Amazon FSx for Lustre 用户指南》中的 Lustre 部署选项。唯一有效值为
READ
。要禁用SSD驱动器缓存,请不要指定DriveCacheType
设置。 StorageType
(可选,String
)-
为您正在创建的 for FSx Lustre 文件系统设置存储类型。有效值为
SSD
和HDD
。-
设置为
SSD
以使用固态驱动器存储。 -
设置为
HDD
以使用硬盘驱动器存储。PERSISTENT
部署类型支持HDD
。
默认值为
SSD
。有关更多信息,请参阅亚马逊 Windows 版用户指南中的存储类型选项和亚马逊 FSx for Lustre 用户指南中的多个存储选项。FSx -
DeletionPolicy
(可选,String
)-
指定从集群中删除文件系统或删除集群时,是应保留还是删除文件系统。支持的值是
Delete
和Retain
。默认值为Delete
。如果设置DeletionPolicy为
Delete
,则如果删除了群集,或者如果通过群集更新删除了文件系统,则会删除托管文件系统及其数据。有关更多信息,请参阅 共享存储。
注意
DeletionPolicy
从 3.3.0 Amazon ParallelCluster 版开始受支持。 DataRepositoryAssociations
(可选,String
)-
列表DRAs(每个文件系统最多 8 个)
每个数据存储库关联都必须有一个唯一的 Amazon FSx 文件系统目录以及与之关联的唯一 S3 存储桶或前缀。
不能ImportPath在使用ExportPath和的 FsxLustreSettings 同时使用DRAs。
Name
(必需,String
)-
DRA 的名称。可以在更新设置时使用此名称。
BatchImportMetaDataOnCreate
(可选,Boolean
)-
一种布尔标志,指示是否应在创建数据存储库关联后运行用于导入元数据的导入数据存储库任务。如果将此标志设置为
true
,则该任务将运行。默认值:
false
DataRepositoryPath
(必需,String
)-
要链接到文件系统的 Amazon S3 数据存储库的路径。该路径可以是 S3 存储桶或格式
s3://
的前缀。此路径指定 S3 数据存储库文件将从中导入或导出到的位置。amzn-s3-demo-bucket
/myPrefix/不能与其他重叠 DRAs
模式:
^[^\u0000\u0085\u2028\u2029\r\n]{3,4357}$
最低:
3
最高:
4357
FileSystemPath
(必需,String
)-
Amazon fo FSx r Lustre 文件系统上的路径,它指向将与 1-1 映射的高级目录(例如
/ns1/
/ns1/subdir/
)或子目录(例如)。DataRepositoryPath
名称中的前导正斜杠必填。两个数据存储库关联不能具有重叠的文件系统路径。例如,如果数据存储库与文件系统路径/ns1/
相关联,则您无法将另一个数据存储库与文件系统路径/ns1/ns2
相关联。此路径指定文件将在您的文件系统中的哪个位置导出或导入到哪个位置。只能将此文件系统目录链接到一个 Amazon S3 桶,而不能将其他 S3 桶链接到该目录。
不能与其他重叠 DRAs
注意
如果您仅指定正斜杠 (
/
) 作为文件系统路径,则只能将一个数据存储库链接到文件系统。您只能将“/
”指定为与文件系统相关联的第一个数据存储库的文件系统路径。模式:
^[^\u0000\u0085\u2028\u2029\r\n]{1,4096}$
最低:
1
最高:
4096
ImportedFileChunkSize
(可选,Integer
)-
对于从数据存储库导入的文件,此值决定单个物理磁盘上存储的每个文件的条带计数和最大数据量(以 MiB 为单位)。可以对单个文件进行条带化的最大磁盘数受构成文件系统或缓存的总磁盘数限制。
默认区块大小为 1024MiB(1GiB),最大值能够达到 512000MiB(500GiB)。Amazon S3 数据元的最大大小为 5 TB。
最低:
1
最高:
4096
AutoExportPolicy
(可选,Array of strings
)-
该列表可包含一个或多个以下值:
-
NEW
- 新文件和目录将在添加到文件系统时自动导出到数据存储库。 -
CHANGED
- 对文件系统上的文件和目录所做的更改将自动导出到数据存储库。 -
DELETED
- 在文件系统上删除文件和目录后,将在数据存储库中自动删除这些文件和目录。
您可以为您的
AutoExportPolicy
定义事件类型的任意组合。最高:
3
-
AutoImportPolicy
(可选,Array of strings
)-
该列表可包含一个或多个以下值:
-
NEW
-Amazon FSx 会自动导入添加到链接的 S3 存储桶且FSx文件系统中当前不存在的文件的元数据。 -
CHANGED
-当数据存储库中的文件更改时,Amazon FSx 会自动更新文件元数据并使文件系统中的现有文件内容失效。 -
DELETED
-当相应文件在数据存储库中被删除时,Amazon 会FSx自动删除文件系统上的文件。
您可以为您的
AutoImportPolicy
定义事件类型的任意组合。最高:
3
-
FsxOntapSettings
注意
如果为 StorageType 指定了 FsxOntap
,则必须定义 FsxOntapSettings
。
(可选)ONTAP文件FSx系统的设置。
FsxOntapSettings: VolumeId:
string
FsxOntapSettings
属性
VolumeId
(必需,String
)-
为ONTAP系统指定现有FSx卷 ID。
注意
-
如果使用 Amazon Batch 调度器,f ONTAP o FSx r 仅在头节点上可用。
-
如果ONTAP部署类型为
Multi-AZ
,请确保头节点子网的路由表配置正确。FSx -
在 3.2.0 Amazon ParallelCluster 版本中增加了FSx对ONTAP的支持。
-
文件系统必须与允许通过端口 111、635、2049 和 4046 的入站TCP和出站UDP流量以及流量的安全组相关联。
通过执行以下操作之一,确保允许集群和文件系统之间的流量:
-
配置文件系统的安全组以允许进出集群子网CIDR或前缀列表的流量。
注意
Amazon ParallelCluster 验证端口是否已打开以及CIDR或前缀列表是否已配置。 Amazon ParallelCluster 不验证CIDR区块列表或前缀列表的内容。
-
通过使用 SlurmQueues/Networking/SecurityGroups 和 HeadNode/Networking/SecurityGroups,设置集群节点的自定义安全组。必须将自定义安全组配置为允许集群和文件系统之间的流量。
注意
如果所有集群节点都使用自定义安全组,则 Amazon ParallelCluster 仅验证端口是否已打开。 Amazon ParallelCluster 无法验证源和目标的配置是否正确。
FsxOpenZfsSettings
注意
如果为 StorageType 指定了 FsxOpenZfs
,则必须定义 FsxOpenZfsSettings
。
(可选)“打开” ZFS 文件系统的设置。FSx
FsxOpenZfsSettings: VolumeId:
string
FsxOpenZfsSettings
属性
VolumeId
(必需,String
)-
为开放ZFS系统指定现有FSx卷 ID。
注意
-
如果使用 Amazon Batch 调度器,则 Op FSx ZFS en 仅在头节点上可用。
-
3.2.0 Amazon ParallelCluster 版本中增加了ZFS对 Open 的支持。FSx
-
文件系统必须与允许入站和出站以及通过端口 111、2049、20001、20002 TCP 和 20003 进行UDP流量的安全组相关联。
通过执行以下操作之一,确保允许集群和文件系统之间的流量:
-
配置文件系统的安全组以允许进出集群子网CIDR或前缀列表的流量。
注意
Amazon ParallelCluster 验证端口是否已打开以及CIDR或前缀列表是否已配置。 Amazon ParallelCluster 不验证CIDR区块列表或前缀列表的内容。
-
通过使用 SlurmQueues/Networking/SecurityGroups 和 HeadNode/Networking/SecurityGroups,设置集群节点的自定义安全组。必须将自定义安全组配置为允许集群和文件系统之间的流量。
注意
如果所有集群节点都使用自定义安全组,则 Amazon ParallelCluster 仅验证端口是否已打开。 Amazon ParallelCluster 无法验证源和目标的配置是否正确。
FileCacheSettings
注意
如果为 StorageType 指定了 FileCache
,则必须定义 FileCacheSettings
。
(可选)文件缓存的设置。
FileCacheSettings: FileCacheId:
string
FileCacheSettings
属性
FileCacheId
(必需,String
)-
指定现有文件缓存的文件缓存 ID。
注意
-
文件缓存不支持 Amazon Batch 调度程序。
-
3.7.0 Amazon ParallelCluster 版本中增加了对文件缓存的支持。
-
文件系统必须与允许入站和出站TCP流量通过端口 988 的安全组相关联。
通过执行以下操作之一,确保允许集群和文件系统之间的流量:
-
配置 File Cache 的安全组以允许进出集群子网CIDR或前缀列表的流量。
注意
Amazon ParallelCluster 验证端口是否已打开以及CIDR或前缀列表是否已配置。 Amazon ParallelCluster 不验证CIDR区块列表或前缀列表的内容。
-
通过使用 SlurmQueues/Networking/SecurityGroups 和 HeadNode/Networking/SecurityGroups,设置集群节点的自定义安全组。必须将自定义安全组配置为允许集群和文件系统之间的流量。
注意
如果所有集群节点都使用自定义安全组,则 Amazon ParallelCluster 仅验证端口是否已打开。 Amazon ParallelCluster 无法验证源和目标的配置是否正确。