本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
[fsx]
部分
为附加的 FSx for Lustre 文件系统定义配置设置。有关更多信息,请参阅《亚马逊 FSx API 参考》 CreateFileSystem中的 Amazon FSx。
如果base_os是alinux2
、centos7
ubuntu1804
、或ubuntu2004
,则支持 FSx for Lustre。
使用 Amazon Linux 时,内核必须是4.14.104-78.84.amzn1.x86_64
或更高版本。有关说明,请参阅《亚马逊 FSx for Lustre 用户指南》中的 “安装 lustre 客户端”。
当awsbatch
用作调度程序时,目前不支持 FSx for Lustre。
Amazon ParallelCluster版本 2.10.4 中删除了对 FSx for Lustre 的Support。centos8
Amazon ParallelCluster版本 2.11.0 中添加了对适用于 Lustreubuntu2004
的 FSx 的Support。Amazon ParallelCluster版本 2.10.0 中添加了对 FSx for Lustre 的Support。centos8
在alinux2
、ubuntu1604
和ubuntu1804
2.6.0Amazon ParallelCluster 版本中添加了对 FSx for Lustre 的Support。Amazon ParallelCluster版本 2.4.0 中添加了对 FSx for Lustre 的Support。centos7
如果使用现有文件系统,则必须将其关联到一个安全组,该安全组允许到端口 988
的入站 TCP 流量。在安全组规则0.0.0.0/0
上将源设置为可让客户端从您的 VPC 安全组内该协议的所有 IP 范围和该规则的端口范围进行访问。为了进一步限制对文件系统的访问,我们建议对安全组规则使用更严格的来源。例如,您可以使用更具体的 CIDR 范围、IP 地址或安全组 ID。在未使用 vpc_security_group_id 时,将自动执行此操作。
要使用现有的 Amazon FSx 文件系统进行独立于集群生命周期的长期永久存储,请指定fsx_fs_id。
如果您未指定fsx_fs_id,则在Amazon ParallelCluster创建群集时根据[fsx]
设置创建 FSx for Lustre 文件系统,并在删除群集时删除文件系统和数据。
有关更多信息,请参阅 最佳实践:将集群移至新的Amazon ParallelCluster次要版本或补丁版本。
格式是[fsx
。 fsx-name
]fsx-nam
e 必须以字母开头,包含不超过 30 个字符,并且仅包含字母、数字、连字符 (-) 和下划线 (_)。
[fsx fs] shared_dir = /fsx fsx_fs_id =
fs-073c3803dca3e28a6
要创建并配置新的文件系统,请使用以下参数:
[fsx fs] shared_dir = /fsx storage_capacity = 3600 imported_file_chunk_size = 1024 export_path = s3://
bucket/folder
import_path = s3://bucket
weekly_maintenance_start_time = 1:00:00
主题
- auto_import_policy
- automatic_backup_retention_days
- copy_tags_to_backups
- daily_automatic_backup_start_time
- data_compression_type
- deployment_type
- drive_cache_type
- export_path
- fsx_backup_id
- fsx_fs_id
- fsx_kms_key_id
- import_path
- imported_file_chunk_size
- per_unit_storage_throughput
- shared_dir
- storage_capacity
- storage_type
- weekly_maintenance_start_time
auto_import_policy
(可选)指定自动导入策略,以反映用于创建 FSx for Lustre 文件系统的 S3 存储桶中的更改。可能的值包括:
NEW
-
FSx for Lustre 会自动导入添加到链接 S3 桶中但当前不存在于 FSx for Lustre 文件系统中的任何新对象的目录列表。
NEW_CHANGED
-
FSx for Lustre 会自动导入添加到 S3 桶的任何新对象的文件和目录列表,以及在 S3 桶中更改的任何现有对象。
这与AutoImportPolicy属性相对应。有关更多信息,请参阅 Amazon FSx for Lustre 用户指南中的自动从 S3 桶导入更新。指定auto_import_policy参数后,不得指定automatic_backup_retention_dayscopy_tags_to_backupsdaily_automatic_backup_start_time、、和fsx_backup_id参数。
如果未指定该auto_import_policy
设置,则禁用自动导入。FSx for Lustre 仅在创建文件系统时更新链接的 S3 桶中的文件和目录列表。
auto_import_policy = NEW_CHANGED
Amazon ParallelCluster版本 2.10.0 中添加了对的Support。auto_import_policy
automatic_backup_retention_days
(可选)指定保留自动备份的天数。这仅适用于PERSISTENT_1
部署类型。指定automatic_backup_retention_days参数后,不得指定auto_import_policyexport_pathimport_path、、和imported_file_chunk_size参数。这与AutomaticBackupRetentionDays属性相对应。
默认值为 0。此设置禁用自动备份。可能的值是介于 0 到 35(含)之间的整数。
automatic_backup_retention_days = 35
Amazon ParallelCluster版本 2.8.0automatic_backup_retention_days 中添加了对的Support。
copy_tags_to_backups
(可选)指定是否将文件系统的标签复制到备份中。这仅适用于PERSISTENT_1
部署类型。指定copy_tags_to_backups参数时,automatic_backup_retention_days必须使用大于 0 的值来指定,并且不得指定auto_import_policyexport_pathimport_path、、和imported_file_chunk_size参数。这与CopyTagsToBackups属性相对应。
默认值为 false
。
copy_tags_to_backups = true
Amazon ParallelCluster版本 2.8.0copy_tags_to_backups 中添加了对的Support。
daily_automatic_backup_start_time
(可选)指定一天中启动自动备份的时间 (UTC)。这仅适用于PERSISTENT_1
部署类型。指定daily_automatic_backup_start_time参数时,automatic_backup_retention_days必须使用大于 0 的值来指定,并且不得指定auto_import_policyexport_pathimport_path、、和imported_file_chunk_size参数。这与DailyAutomaticBackupStartTime属性相对应。
格式为HH:MM
,其中HH
是一天中的零填充小时(0-23)MM
,而小时中的零填充分钟。例如,世界标准时间凌晨 1:03 如下所示。
daily_automatic_backup_start_time = 01:03
默认值为介于00:00
和之间的随机时间23:59
。
Amazon ParallelCluster版本 2.8.0daily_automatic_backup_start_time 中添加了对的Support。
data_compression_type
(可选)指定 Lustre 数据压缩类型的 FSx。这与DataCompressionType属性相对应。有关更多信息,请参阅 Amazon FSx for Lustre 用户指南的 FSx for Lustre 数据压缩。
唯一有效值为 LZ4
。要禁用数据压缩,请删除data_compression_type参数。
data_compression_type = LZ4
Amazon ParallelCluster版本 2.11.0 中添加了对的Support。data_compression_type
deployment_type
(可选)指定 Lustre 部署类型的 FSx。这与DeploymentType属性相对应。有关更多信息,请参阅 Amazon FSx for Lustre 用户指南的 FSx for Lustre 部署选项。为临时存储和短期处理数据选择临时部署类型。 SCRATCH_2
是最新一代的临时文件系统。与基准吞吐量相比,它提供了更高的突发吞吐量,以及数据的传输中加密。
有效值为 SCRATCH_1
、SCRATCH_2
和 PERSISTENT_1
。
SCRATCH_1
-
FSx for Lustre 的默认部署类型。对于此部署类型,storage_capacity 设置的可能值为 1200 和 2400,以及 3600 的任何倍数。Amazon ParallelCluster版本 2.4.0
SCRATCH_1
中添加了对的Support。 SCRATCH_2
-
最新一代的临时文件系统。对于尖峰工作负载,它最多可支持六倍的基准吞吐量。它还支持在支持的实例类型中对数据进行传输中加密Amazon Web Services 区域。有关更多信息,请参阅 Amazon FSx for Lustre 用户指南中的加密传输中的数据。对于此部署类型,storage_capacity 设置的可能值为 1200,以及 2400 的任何倍数。Amazon ParallelCluster版本 2.6.0
SCRATCH_2
中添加了对的Support。 PERSISTENT_1
-
专为长期存储而设计。文件服务器具有高可用性,数据在文件系统的Amazon可用区内进行复制。它支持对支持的实例类型的数据进行传输中加密。对于此部署类型,storage_capacity 设置的可能值为 1200,以及 2400 的任何倍数。Amazon ParallelCluster版本 2.6.0
PERSISTENT_1
中添加了对的Support。
默认值为 SCRATCH_1
。
deployment_type = SCRATCH_2
Amazon ParallelCluster版本 2.6.0deployment_type 中添加了对的Support。
drive_cache_type
(可选)指定文件系统具有 SSD 驱动器缓存。只有将该设置设置为,才能将其storage_type设置HDD
。这与DriveCacheType属性相对应。有关更多信息,请参阅 Amazon FSx for Lustre 用户指南的 FSx for Lustre 部署选项。
唯一有效值为 READ
。要禁用 SSD 驱动器缓存,请不要指定drive_cache_type
设置。
drive_cache_type = READ
Amazon ParallelCluster版本 2.10.0 中添加了对的Support。drive_cache_type
export_path
(可选)指定导出文件系统根的 Amazon S3 路径。指定export_path参数后,不得指定automatic_backup_retention_dayscopy_tags_to_backupsdaily_automatic_backup_start_time、、和fsx_backup_id参数。这与ExportPath属性相对应。文件数据和元数据不会自动导出到export_path
。有关导出数据和元数据的信息,请参阅 Amazon FSx for Lustre 用户指南中的将更改导出到数据存储库。
默认值为 s3://
,其中 import-bucket
/FSxLustre[creation-timestamp]
是 import_path 参数中提供的存储桶。import-bucket
export_path = s3://
bucket/folder
fsx_backup_id
(可选)指定用于从现有备份恢复文件系统的备份 ID。指定fsx_backup_id参数后,不得指定auto_import_policydeployment_typeexport_pathfsx_kms_key_id、import_pathimported_file_chunk_size、storage_capacity、、、和per_unit_storage_throughput参数。这些参数是从备份中读取的。此外auto_import_policy,不得指定export_pathimport_path、、和imported_file_chunk_size参数。
这与BackupId属性相对应。
fsx_backup_id = backup-fedcba98
Amazon ParallelCluster版本 2.8.0fsx_backup_id 中添加了对的Support。
fsx_fs_id
(可选)附加现有的 FSx for Lustre 文件系统。
如果指定了此选项,则仅使用该[fsx]部分中的shared_dir和fsx_fs_id设置,而忽略该[fsx]部分中的任何其他设置。
fsx_fs_id = fs-073c3803dca3e28a6
fsx_kms_key_id
(可选)指定您的 Amazon Key Management Service (Amazon KMS) 客户托管密钥的密钥 ID。
此密钥用于加密文件系统中的静态数据。
它必须与自定义 ec2_iam_role 结合使用。有关更多信息,请参阅 使用自定义 KMS 密钥进行磁盘加密。这与亚马逊 FSx API 参考中的KmsKeyId参数相对应。
fsx_kms_key_id =
xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
Amazon ParallelCluster版本 2.6.0fsx_kms_key_id 中添加了对的Support。
import_path
(可选)指定要将数据加载到文件系统并用作导出存储桶的 S3 存储桶。有关更多信息,请参阅 export_path。如果指定import_path参数,则不得指定automatic_backup_retention_dayscopy_tags_to_backupsdaily_automatic_backup_start_time、、和fsx_backup_id参数。这与亚马逊 FSx API 参考中的ImportPath参数相对应。
导入在创建集群时发生。有关更多信息,请参阅 Amazon FSx for Lustre 用户指南中的从数据存储库导入数据。导入时,仅导入文件元数据(名称、所有权、时间戳和权限)。在首次访问文件之前,不会从 S3 桶导入文件数据。有关预加载文件内容的信息,请参阅 Amazon FSx for Lustre 用户指南中的将文件预加载到您的文件系统中。
如果未提供值,则文件系统为空。
import_path = s3://
bucket
imported_file_chunk_size
(可选)为从数据存储库导入的文件(使用)确定单个物理磁盘上存储的每个文件的条带计数和最大数据量(以 MiB 为单位import_path)。可以对单个文件进行条带化的最大磁盘数受构成文件系统的总磁盘数限制。指定imported_file_chunk_size参数后,不得指定automatic_backup_retention_dayscopy_tags_to_backupsdaily_automatic_backup_start_time、、和fsx_backup_id参数。这与ImportedFileChunkSize属性相对应。
区块大小默认为1024
(1 GiB),可以高达 512,000 MiB(500 GiB)。Amazon S3 数据元的最大大小为 5 TB。
imported_file_chunk_size = 1024
per_unit_storage_throughput
(PERSISTENT_1
部署类型所必需) 对于 deployment_type = PERSISTENT_1
部署类型,描述每 1 TiB 存储的读取和写入吞吐量(以 MB/s/TiB 为单位)。文件系统吞吐能力是将通过文件系统存储容量(TiB)乘以 per_unit_storage_throughput(MB/s/TiB)计算得出的。对于 2.4 TiB 文件系统,预配置 50 MB/s/TiB 的 per_unit_storage_throughput 将得到 120 MB/s 的文件系统吞吐量。您需要为预配置的吞吐量付费。这与PerUnitStorageThroughput属性相对应。
可能的值取决于storage_type设置的值。
storage_type = SSD
-
可能的值为 50、100、200。
storage_type = HDD
-
可能的值为 12,40。
per_unit_storage_throughput = 200
Amazon ParallelCluster版本 2.6.0per_unit_storage_throughput 中添加了对的Support。
shared_dir
(必需)定义头节点和计算节点上的 FSx for Lustre 文件系统的挂载点。
不要使用NONE
或/NONE
作为共享目录。
以下示例在 /fsx
上挂载文件系统。
shared_dir = /fsx
storage_capacity
(必需)指定文件系统的存储容量(以 GiB 为单位)。这与StorageCapacity属性相对应。
存储容量可以使用的值因 deployment_type 设置而异。
SCRATCH_1
-
可能的值是 1200 和 2400,以及 3600 的任何倍数。
SCRATCH_2
-
可能的值是 1200,以及 2400 的任何倍数。
PERSISTENT_1
-
可能的值根据其他设置的不同而有所不同。
storage_type = SSD
-
可能的值是 1200,以及 2400 的任何倍数。
storage_type = HDD
-
可能的值根据设置不同而有所不同。per_unit_storage_throughput
per_unit_storage_throughput = 12
-
可能的值为 6000 的任意倍数。
per_unit_storage_throughput = 40
-
可能的值为 1800 的任意倍数。
storage_capacity = 7200
对于Amazon ParallelCluster版本 2.5.0 和 2.5.1,storage_capacity支持的可能值为 1200、2400 和 3600 的任意倍数。对于早于 2.5.0 的Amazon ParallelCluster版本storage_capacity,最小大小为 3600。
storage_type
(可选)指定文件系统的存储类型。这与StorageType属性相对应。可能的值为 SSD
和 HDD
。默认为 SSD
。
存储类型会更改其他设置的可能值。
storage_type = SSD
-
指定固态驱动器 (SSD) 存储类型。
storage_type = SSD
更改了其他几项设置的可能值。- drive_cache_type
-
无法指定此设置。
- deployment_type
-
此设置可以设置为
SCRATCH_1
SCRATCH_2
、或PERSISTENT_1
。 - per_unit_storage_throughput
-
如果 deployment_type 被设置为
PERSISTENT_1
,则必须指定此设置。可能的值为 50、100 或 200。 - storage_capacity
-
此项设置必须指定。可能的不同而有所不同deployment_type。
deployment_type = SCRATCH_1
-
storage_capacity可以是 1200、2400 或 3600 的任意倍数。
deployment_type = SCRATCH_2
或者deployment_type = PERSISTENT_1
-
storage_capacity可以是 1200 或 2400 的任意倍数。
storage_type = HDD
-
指定硬盘驱动器 (HDD) 存储类型。
storage_type = HDD
更改其他设置的可能值。- drive_cache_type
-
可以指定此设置。
- deployment_type
-
此设置必须设置为
PERSISTENT_1
。 - per_unit_storage_throughput
-
此项设置必须指定。可能的值为 12 或 40。
- storage_capacity
-
此项设置必须指定。可能的值根据per_unit_storage_throughput设置不同而有所不同。
storage_capacity = 12
-
storage_capacity可以是 6000 的任意倍数。
storage_capacity = 40
-
storage_capacity可以是 1800 的任意倍数。
storage_type = SSD
Amazon ParallelCluster版本 2.10.0 中添加了对该storage_type设置的Support。
weekly_maintenance_start_time
(可选)指定执行每周维护的首选时间,采用 UTC 时区。这与WeeklyMaintenanceStartTime属性相对应。
格式为 [星期几]:[小时]:[分钟]。例如,星期一午夜如下所示。
weekly_maintenance_start_time = 1:00:00