[fsx] 部分 - Amazon ParallelCluster
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

[fsx] 部分

定义附加的适用于 Lustre 的 FSx 文件系统的配置设置。有关更多信息,请参阅 Amazon FSx API 参考 中的 Amazon FSx CreateFileSystem

如果 base_osalinux2centos7ubuntu1804ubuntu2004,则支持适用于 Lustre 的 FSx。

使用 Amazon Linux 时,内核必须为 4.14.104-78.84.amzn1.x86_64 或更高版本。有关说明,请参阅适用于 Lustre 的 Amazon FSx 用户指南 中的安装 lustre 客户端

注意

目前,在使用 awsbatch 作为调度器时,不支持适用于 Lustre 的 FSx。

注意

在 Amazon ParallelCluster 版本 2.10.4 中删除了 centos8 上对适用于 Lustre 的 FSx 的支持。在 Amazon ParallelCluster 版本 2.11.0 中添加了 ubuntu2004 上对适用于 Lustre 的 FSx 的支持。在 Amazon ParallelCluster 版本 2.10.0 中添加了 centos8 上对适用于 Lustre 的 FSx 的支持。在 Amazon ParallelCluster 版本 2.6.0 中添加了 alinux2ubuntu1604ubuntu1804 上对适用于 Lustre 的 FSx 的支持。在 Amazon ParallelCluster 版本 2.4.0 中添加了 centos7 上对适用于 Lustre 的 FSx 的支持。

如果使用现有文件系统,则必须将其关联到一个安全组,该安全组允许到端口 988 的入站 TCP 流量。在安全组规则上将源设置为 0.0.0.0/0 时,可以从 VPC 安全组中所有 IP 范围的客户端访问该规则的协议和端口范围。要进一步限制对文件系统的访问,我们建议您对安全组规则使用更具限制性的源。例如,您可以使用更具体的 CIDR 范围、IP 地址或安全组 ID。在未使用 vpc_security_group_id 时,将自动执行此操作。

要使用现有的 Amazon FSx 文件系统进行独立于集群生命周期的长期永久性存储,请指定 fsx_fs_id

如果不指定 fsx_fs_id,则 Amazon ParallelCluster 会在创建集群时根据 [fsx] 设置创建适用于 Lustre的 FSx 文件系统,并在删除集群时删除该文件系统和数据。

有关更多信息,请参阅 最佳实践:将集群迁移至新的 Amazon ParallelCluster 次要版本或修补版本

格式为 [fsx fsx-name]fsx-name 必须以字母开头,不能超过 30 个字符,并且只能包含字母、数字、连字符 (-) 和下划线 (_)。

[fsx fs] shared_dir = /fsx fsx_fs_id = fs-073c3803dca3e28a6

要创建并配置新的文件系统,请使用以下参数:

[fsx fs] shared_dir = /fsx storage_capacity = 3600 imported_file_chunk_size = 1024 export_path = s3://bucket/folder import_path = s3://bucket weekly_maintenance_start_time = 1:00:00

auto_import_policy

(可选)指定自动导入策略,以便反映用于创建适用于 Lustre 的 FSx 文件系统的 S3 存储桶中的变化。可能的值包括:

NEW

适用于 Lustre 的 FSx 会自动导入添加到链接 S3 存储桶中但当前不存在于适用于 Lustre 的 FSx 文件系统中的任何新对象的目录列表。

NEW_CHANGED

适用于 Lustre 的 FSx 会自动导入添加到 S3 存储桶的任何新对象以及在 S3 存储桶中更改的任何现有对象的文件和目录列表。

此参数对应于 AutoImportPolicy 属性。有关更多信息,请参阅适用于 Lustre 的 Amazon FSx 用户指南 中的自动从 S3 桶导入更新。指定 auto_import_policy 参数后,不得指定 automatic_backup_retention_dayscopy_tags_to_backupsdaily_automatic_backup_start_timefsx_backup_id 参数。

如果未指定 auto_import_policy 设置,则会禁用自动导入。适用于 Lustre 的 FSx 仅在创建文件系统时更新链接的 S3 存储桶中的文件和目录列表。

auto_import_policy = NEW_CHANGED
注意

在 Amazon ParallelCluster 版本 2.10.0 中添加了对 auto_import_policy 的支持。

更新策略:如果更改此设置,则不允许更新。

automatic_backup_retention_days

(可选)指定保留自动备份的天数。此参数仅适用于 PERSISTENT_1 部署类型。指定 automatic_backup_retention_days 参数后,不得指定 auto_import_policyexport_pathimport_pathimported_file_chunk_size 参数。此参数对应于 AutomaticBackupRetentionDays 属性。

默认值为 0。此设置禁用自动备份。可能的值是介于 0 到 35 之间的整数(含 0 和 35)。

automatic_backup_retention_days = 35
注意

在 Amazon ParallelCluster 版本 2.8.0 中添加了对 automatic_backup_retention_days 的支持。

更新策略:可以在更新期间更改此设置。

copy_tags_to_backups

(可选)指定是否将文件系统的标签复制到备份中。此参数仅适用于 PERSISTENT_1 部署类型。指定 copy_tags_to_backups 参数后,必须使用大于 0 的值指定 automatic_backup_retention_days,并且不得指定 auto_import_policyexport_pathimport_pathimported_file_chunk_size 参数。此参数对应于 CopyTagsToBackups 属性。

默认值为 false

copy_tags_to_backups = true
注意

在 Amazon ParallelCluster 版本 2.8.0 中添加了对 copy_tags_to_backups 的支持。

更新策略:如果更改此设置,则不允许更新。

daily_automatic_backup_start_time

(可选)指定一天中开始自动备份的时间 (UTC)。此参数仅适用于 PERSISTENT_1 部署类型。指定 daily_automatic_backup_start_time 参数后,必须使用大于 0 的值指定 automatic_backup_retention_days,并且不得指定 auto_import_policyexport_pathimport_pathimported_file_chunk_size 参数。此参数对应于 DailyAutomaticBackupStartTime 属性。

格式为 HH:MM,其中 HH 是一天中的零填充小时(0-23),MM 是小时中的零填充分钟。例如,1:03 A.M. UTC 如下所示。

daily_automatic_backup_start_time = 01:03

默认值是介于 00:0023:59 之间的随机时间。

注意

在 Amazon ParallelCluster 版本 2.8.0 中添加了对 daily_automatic_backup_start_time 的支持。

更新策略:可以在更新期间更改此设置。

data_compression_type

(可选)指定适用于 Lustre 的 FSx 数据压缩类型。此参数对应于 DataCompressionType 属性。有关更多信息,请参阅适用于 Lustre 的 Amazon FSx 用户指南 中的 适用于 Lustre 的 FSx 数据压缩

唯一有效值为 LZ4。要禁用数据压缩,请删除 data_compression_type 参数。

data_compression_type = LZ4
注意

在 Amazon ParallelCluster 版本 2.11.0 中添加了对 data_compression_type 的支持。

更新策略:可以在更新期间更改此设置。

deployment_type

(可选)指定适用于 Lustre 的 FSx 部署类型。此参数对应于 DeploymentType 属性。有关更多信息,请参阅适用于 Lustre 的 Amazon FSx 用户指南 中的适用于 Lustre 的 FSx 部署选项。为数据的临时存储和短期处理选择临时部署类型。SCRATCH_2 是最新一代临时文件系统。它提供了超出基准吞吐量的突增吞吐量以及传输中数据加密。

有效值为 SCRATCH_1SCRATCH_2PERSISTENT_1

SCRATCH_1

适用于 Lustre 的 FSx 的默认部署类型。对于此部署类型,storage_capacity 设置的可能值为 1200 和 2400,以及 3600 的任何倍数。在 Amazon ParallelCluster 版本 2.4.0 中添加了对 SCRATCH_1 的支持。

SCRATCH_2

最新一代临时文件系统。它支持的工作负载最高可达基准吞吐量的六倍。对于支持的 Amazon Web Services 区域中支持的实例类型,它还支持传输中数据加密。有关更多信息,请参阅适用于 Lustre 的 Amazon FSx 用户指南 中的加密传输中数据。对于此部署类型,storage_capacity 设置的可能值为 1200,以及 2400 的任何倍数。在 Amazon ParallelCluster 版本 2.6.0 中添加了对 SCRATCH_2 的支持。

PERSISTENT_1

专为长期存储而设计。文件服务器具有高可用性,并且数据在文件系统的 Amazon 可用区内复制。对于支持的实例类型,它还支持传输中数据加密。对于此部署类型,storage_capacity 设置的可能值为 1200,以及 2400 的任何倍数。在 Amazon ParallelCluster 版本 2.6.0 中添加了对 PERSISTENT_1 的支持。

默认值为 SCRATCH_1

deployment_type = SCRATCH_2
注意

在 Amazon ParallelCluster 版本 2.6.0 中添加了对 deployment_type 的支持。

更新策略:如果更改此设置,则不允许更新。

drive_cache_type

(可选)指定文件系统具有 SSD 驱动器缓存。只有将 storage_type 设置设为 HDD 后,才能设置此参数。此参数对应于 DriveCacheType 属性。有关更多信息,请参阅适用于 Lustre 的 Amazon FSx 用户指南 中的适用于 Lustre 的 FSx 部署选项

唯一有效值为 READ。要禁用 SSD 驱动器缓存,请不要指定 drive_cache_type 设置。

drive_cache_type = READ
注意

在 Amazon ParallelCluster 版本 2.10.0 中添加了对 drive_cache_type 的支持。

更新策略:如果更改此设置,则不允许更新。

export_path

(可选)指定在其中导出文件系统的根的 Amazon S3 路径。指定 export_path 参数后,不得指定 automatic_backup_retention_dayscopy_tags_to_backupsdaily_automatic_backup_start_timefsx_backup_id 参数。此参数对应于 ExportPath 属性。文件数据和元数据不会自动导出到 export_path。有关导出数据和元数据的信息,请参阅 适用于 Lustre 的 Amazon FSx 用户指南 中的将更改导出到数据存储库

默认值为 s3://import-bucket/FSxLustre[creation-timestamp],其中 import-bucketimport_path 参数中提供的存储桶。

export_path = s3://bucket/folder

更新策略:如果更改此设置,则不允许更新。

fsx_backup_id

(可选)指定用于从现有备份还原文件系统的备份 ID。指定 fsx_backup_id 参数后,不得指定 auto_import_policydeployment_typeexport_pathfsx_kms_key_idimport_pathimported_file_chunk_sizestorage_capacityper_unit_storage_throughput 参数。这些参数从备份中进行读取。此外,不得指定 auto_import_policyexport_pathimport_pathimported_file_chunk_size 参数。

此参数对应于 BackupId 属性。

fsx_backup_id = backup-fedcba98
注意

在 Amazon ParallelCluster 版本 2.8.0 中添加了对 fsx_backup_id 的支持。

更新策略:如果更改此设置,则不允许更新。

fsx_fs_id

(可选)附加现有的适用于 Lustre 的 FSx 文件系统。

如果指定了此选项,则仅使用 [fsx] 部分中的 shared_dir 和 fsx_fs_id 设置,并忽略 [fsx] 部分中的任何其他设置。

fsx_fs_id = fs-073c3803dca3e28a6

更新策略:如果更改此设置,则不允许更新。

fsx_kms_key_id

(可选)指定您的 Amazon Key Management Service (Amazon KMS) 客户托管密钥的密钥 ID。

此密钥用于加密文件系统中的静态数据。

它必须与自定义 ec2_iam_role 结合使用。有关更多信息,请参阅 使用自定义 KMS 密钥对磁盘加密。此参数对应于 Amazon FSx API 参考 中的 KmsKeyId 参数。

fsx_kms_key_id = xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
注意

在 Amazon ParallelCluster 版本 2.6.0 中添加了对 fsx_kms_key_id 的支持。

更新策略:如果更改此设置,则不允许更新。

import_path

(可选)指定将其中的数据加载到文件系统并用作导出存储桶的 S3 存储桶。有关更多信息,请参阅 export_path。如果指定 import_path 参数,则不得指定 automatic_backup_retention_dayscopy_tags_to_backupsdaily_automatic_backup_start_timefsx_backup_id 参数。此参数对应于 Amazon FSx API 参考 中的 ImportPath 参数。

导入在创建集群时发生。有关更多信息,请参阅适用于 Lustre 的 Amazon FSx 用户指南 中的从数据存储库导入数据。导入时,仅导入文件元数据(名称、所有权、时间戳和权限)。在首次访问文件之前,不会从 S3 存储桶导入文件数据。有关预加载文件内容的信息,请参阅 适用于 Lustre 的 Amazon FSx 用户指南 中的将文件预加载到文件系统

如果未提供值,则该文件系统为空。

import_path = s3://bucket

更新策略:如果更改此设置,则不允许更新。

imported_file_chunk_size

(可选)对于从数据存储库导入的文件(使用 import_path),此参数决定单个物理磁盘上存储的每个文件的条带计数和最大数据量(以 MiB 为单位)。可以对单个文件进行条带化的最大磁盘数受构成文件系统的总磁盘数限制。指定 imported_file_chunk_size 参数后,不得指定 automatic_backup_retention_dayscopy_tags_to_backupsdaily_automatic_backup_start_timefsx_backup_id 参数。此参数对应于 ImportedFileChunkSize 属性。

区块大小默认为 1024 (1 GiB),最大值能够达到 512000 MiB (500 GiB)。Amazon S3 数据元的最大大小为 5 TB。

imported_file_chunk_size = 1024

更新策略:如果更改此设置,则不允许更新。

per_unit_storage_throughput

PERSISTENT_1 部署类型所必需) 对于 deployment_type = PERSISTENT_1 部署类型,描述每 1 TiB 存储的读取和写入吞吐量(以 MB/s/TiB 为单位)。文件系统吞吐能力是将通过文件系统存储容量(TiB)乘以 per_unit_storage_throughput(MB/s/TiB)计算得出的。对于 2.4 TiB 文件系统,预置 50 MB/s/TiB 的 per_unit_storage_throughput 将得到 120 MB/s 的文件系统吞吐量。您需要为预置的吞吐量付费。此参数对应于 PerUnitStorageThroughput 属性。

可能的值取决于 storage_type 设置的值。

storage_type = SSD

可能的值为 50、100、200。

storage_type = HDD

可能的值为 12、40。

per_unit_storage_throughput = 200
注意

在 Amazon ParallelCluster 版本 2.6.0 中添加了对 per_unit_storage_throughput 的支持。

更新策略:如果更改此设置,则不允许更新。

shared_dir

(必需)定义头节点和计算节点上适用于 Lustre 的 FSx 文件系统的挂载点。

请勿使用 NONE/NONE 作为共享目录。

以下示例在 /fsx 上挂载文件系统。

shared_dir = /fsx

更新策略:如果更改此设置,则不允许更新。

storage_capacity

(必需)指定文件系统的存储容量(以 GiB 为单位)。此参数对应于 StorageCapacity 属性。

存储容量可以使用的值因 deployment_type 设置而异。

SCRATCH_1

可能的值是 1200 和 2400,以及 3600 的任何倍数。

SCRATCH_2

可能的值是 1200,以及 2400 的任何倍数。

PERSISTENT_1

可能的值根据其他设置的值而有所不同。

storage_type = SSD

可能的值是 1200,以及 2400 的任何倍数。

storage_type = HDD

可能的值根据 per_unit_storage_throughput 设置的设置而有所不同。

per_unit_storage_throughput = 12

可能的值是 6000 的任何倍数。

per_unit_storage_throughput = 40

可能的值是 1800 的任何倍数。

storage_capacity = 7200
注意

对于 Amazon ParallelCluster 版本 2.5.0 和 2.5.1,storage_capacity 支持的值为 1200 和 2400,以及 3600 的任何倍数。对于早于 Amazon ParallelCluster 版本 2.5.0 的版本,storage_capacity 的最小大小为 3600。

更新策略:如果更改此设置,则不允许更新。

storage_type

(可选)指定文件系统的存储类型。此参数对应于 StorageType 属性。可能的值为 SSDHDD。默认为 SSD

存储类型会更改其他设置的可能值。

storage_type = SSD

指定固态驱动器 (SSD) 存储类型。

storage_type = SSD 会更改其他几个设置的可能值。

drive_cache_type

不能指定此设置。

deployment_type

此设置可以设置为 SCRATCH_1SCRATCH_2PERSISTENT_1

per_unit_storage_throughput

如果 deployment_type 被设置为 PERSISTENT_1,则必须指定此设置。可能的值为 50、100 或 200。

storage_capacity

必须指定此设置。可能的值根据 deployment_type 而有所不同。

deployment_type = SCRATCH_1

storage_capacity 可以是 1200、2400 或 3600 的任何倍数。

deployment_type = SCRATCH_2deployment_type = PERSISTENT_1

storage_capacity 可以是 1200 或 2400 的任何倍数。

storage_type = HDD

指定硬盘驱动器 (HDD) 存储类型。

storage_type = HDD 会更改其他设置的可能值。

drive_cache_type

可以指定此设置。

deployment_type

此设置必须设置为 PERSISTENT_1

per_unit_storage_throughput

必须指定此设置。可能的值为 12 或 40。

storage_capacity

必须指定此设置。可能的值根据 per_unit_storage_throughput 设置而有所不同。

storage_capacity = 12

storage_capacity 可以是 6000 的任何倍数。

storage_capacity = 40

storage_capacity 可以是 1800 的任何倍数。

storage_type = SSD
注意

在 Amazon ParallelCluster 版本 2.10.0 中添加了对 storage_type 设置的支持。

更新策略:如果更改此设置,则不允许更新。

weekly_maintenance_start_time

(可选)指定执行每周维护的首选时间,采用 UTC 时区。此参数对应于 WeeklyMaintenanceStartTime 属性。

格式为 [星期几]:[小时]:[分钟]。例如,周一的午夜如下所示。

weekly_maintenance_start_time = 1:00:00

更新策略:可以在更新期间更改此设置。