[fsx] 部分 - Amazon ParallelCluster
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

[fsx] 部分

定义附加的 FSx for Lustre 文件系统的配置设置。有关 FSx for Lustre 的更多信息,请参阅Amazon FSx CreateFileSystem中的Amazon FSx API 参考.

如果 FSx for Lustrebase_osalinux2centos7ubuntu1804,或者ubuntu2004.

当使用 Amazon Linux 时,内核必须 >=4.14.104-78.84.amzn1.x86_64. 有关详细说明,请参阅安装 lustre 客户端中的Amazon FSx for Lustre 用户指南.

注意

当使用时 FSx for Lustre 当前不支持awsbatch作为调度员。

注意

Support LustrFSx for Lustrecentos8已在中移除Amazon ParallelCluster版本 2.10.10.4 Support LustrFSx for Lustreubuntu2004增加了Amazon ParallelCluster版本 2.11.0 Support LustrFSx for Lustrecentos8增加了Amazon ParallelCluster版本 2.10.0 Support LustrFSx for Lustrealinux2ubuntu1604, 和ubuntu1804增加了Amazon ParallelCluster版本 2.6.0 Support LustrFSx for Lustrecentos7增加了Amazon ParallelCluster版本 2.4.0

如果使用现有文件系统,则必须将其关联到一个安全组,该安全组允许到端口 988 的入站 TCP 流量。将来源设置为0.0.0.0/0在安全组规则上提供从 VPC 安全组中所有 IP 范围的客户端访问该规则的协议和端口范围。要进一步限制对文件系统的访问,我们建议您对安全组规则使用更具限制性的源。例如,您可以使用更具体的 CIDR 范围、IP 地址或安全组 ID。在未使用 vpc_security_group_id 时,将自动执行此操作。

要将现有的 Amazon FSx 文件系统用于独立于集群生命周期的长期永久存储,请指定fsx_fs_id.

如果您没有指定fsx_fs_id、Amazon ParallelCluster从[fsx]在创建群集时设置,删除群集时删除文件系统和数据。

有关更多信息,请参阅 最佳实践:将集群移至新集群Amazon ParallelCluster次要版本或补丁版本

格式为[fsx fsx-name].fsx-name必须以字母开头,不能超过 30 个字符,并且只能包含字母、数字、连字符 (-) 和下划线 (_)。

[fsx fs] shared_dir = /fsx fsx_fs_id = fs-073c3803dca3e28a6

要创建并配置新的文件系统,请使用以下参数:

[fsx fs] shared_dir = /fsx storage_capacity = 3600 imported_file_chunk_size = 1024 export_path = s3://bucket/folder import_path = s3://bucket weekly_maintenance_start_time = 1:00:00

auto_import_policy

(可选)指定自动导入策略以反映用于创建 FSx for Lustre 文件系统的 S3 存储桶中的更改。可能的值包括:

NEW

FSx for Lustre 会自动导入添加到链接 S3 存储桶中但当前不存在于 FSx for Lustre 文件系统中的任何新对象的目录列表。

NEW_CHANGED

FSx for Lustre 会自动导入添加到 S3 存储桶的任何新对象的文件和目录列表,以及 S3 存储桶中更改的任何现有对象。

这对应于AutoImportPolicy财产。有关更多信息,请参阅 。自动从 S3 存储桶导入更新中的Amazon FSx for Lustre 用户指南当您auto_import_policy参数已指定,automatic_backup_retention_dayscopy_tags_to_backupsdaily_automatic_backup_start_time, 和fsx_backup_id不能指定参数。

如果auto_import_policy未指定设置,则禁用自动导入。FSx for Lustre 仅在创建文件系统时更新链接的 S3 存储桶中的文件和目录列表。

auto_import_policy = NEW_CHANGED
注意

对该项的支持auto_import_policy增加了Amazon ParallelCluster版本 2.10.0

更新:如果更改此设置,则不允许更新。

automatic_backup_retention_days

(可选)指定保留自动备份的天数。这仅适用于于PERSISTENT_1部署类型。当您automatic_backup_retention_days参数已指定,auto_import_policyexport_pathimport_path, 和imported_file_chunk_size不能指定参数。这对应于AutomaticBackupRetentionDays财产。

默认值是 0。此设置禁用自动备份。可能的值是介于 0 和 35 之间的整数(包括 0 到 35)。

automatic_backup_retention_days = 35
注意

对该项的支持automatic_backup_retention_days增加了Amazon ParallelCluster版本 2.8.0

更新:此设置可以在更新期间更改。

copy_tags_to_backups

(可选)指定是否将文件系统的标签复制到备份中。这仅适用于于PERSISTENT_1部署类型。当您copy_tags_to_backups参数已指定,automatic_backup_retention_days指定一个大于 0 的值,并且auto_import_policyexport_pathimport_path, 和imported_file_chunk_size不能指定参数。这对应于CopyTagsToBackups财产。

原设定值为 false

copy_tags_to_backups = true
注意

对该项的支持copy_tags_to_backups增加了Amazon ParallelCluster版本 2.8.0

更新:如果更改此设置,则不允许更新。

daily_automatic_backup_start_time

(可选)指定一天中启动自动备份的时间 (UTC)。这仅适用于于PERSISTENT_1部署类型。当您daily_automatic_backup_start_time参数已指定,automatic_backup_retention_days指定一个大于 0 的值,并且auto_import_policyexport_pathimport_path, 和imported_file_chunk_size不能指定参数。这对应于DailyAutomaticBackupStartTime财产。

格式为HH:MM,其中HH是一天中的零填充小时 (0-23),以及MM是小时中以零填充的分钟。例如,凌晨 1:03 UTC 将是:

daily_automatic_backup_start_time = 01:03

默认值为随机时间00:0023:59.

注意

对该项的支持daily_automatic_backup_start_time增加了Amazon ParallelCluster版本 2.8.0

更新:此设置可以在更新期间更改。

data_compression_type

(可选)指定 Lustre 数据压缩类型的 FSx。这对应于DataCompressionType财产。有关更多信息,请参阅 。FSx for Lustre 数据压缩中的Amazon FSx for Lustre 用户指南.

唯一有效值为 LZ4。要禁用数据压缩,请删除data_compression_type参数。

data_compression_type = LZ4
注意

对该项的支持data_compression_type增加了Amazon ParallelCluster版本 2.11.0

更新:此设置可以在更新期间更改。

deployment_type

(可选)指定 Lustre 部署类型的 FSx。这对应于DeploymentType财产。有关更多信息,请参阅 。FSx for Lustre 部署选项中的Amazon FSx for Lustre 用户指南. 选择临时部署类型以进行临时存储和短期处理数据。SCRATCH_2是最新一代的暂存文件系统。与基准吞吐量相比,它提供了更高的突发吞吐量和传输中数据加密。

有效值为 SCRATCH_1SCRATCH_2PERSISTENT_1

SCRATCH_1

FSx for Lustre 的默认部署类型。对于此部署类型,storage_capacity 设置的可能值为 1200 和 2400,以及 3600 的任何倍数。对该项的支持SCRATCH_1增加了Amazon ParallelCluster版本 2.4.0

SCRATCH_2

最新一代的暂存文件系统。它支持高达六倍于高峰工作负载的基准吞吐量。它还支持对受支持区域中受支持的实例类型的数据进行传输中加密。有关更多信息,请参阅 。对传输中的数据加密中的Amazon FSx for Lustre 用户指南. 对于此部署类型,storage_capacity 设置的可能值为 1200,以及 2400 的任何倍数。对该项的支持SCRATCH_2增加了Amazon ParallelCluster版本 2.6.0

PERSISTENT_1

专为长期存储而设计。文件服务器具有高可用性,数据将在文件系统的Amazon可用区,它支持受支持的实例类型的传输中数据加密。对于此部署类型,storage_capacity 设置的可能值为 1200,以及 2400 的任何倍数。对该项的支持PERSISTENT_1增加了Amazon ParallelCluster版本 2.6.0

原设定值为 SCRATCH_1

deployment_type = SCRATCH_2
注意

对该项的支持deployment_type增加了Amazon ParallelCluster版本 2.6.0

更新:如果更改此设置,则不允许更新。

drive_cache_type

(可选)指定文件系统具有 SSD 驱动器缓存。只有在以下情况下才能设置此选项storage_type设置设置为HDD. 这对应于DriveCacheType财产。有关更多信息,请参阅 。FSx for Lustre 部署选项中的Amazon FSx for Lustre 用户指南.

唯一有效值为 READ。要禁用 SSD 驱动器缓存,请不要指定drive_cache_type设置。

drive_cache_type = READ
注意

对该项的支持drive_cache_type增加了Amazon ParallelCluster版本 2.10.0

更新:如果更改此设置,则不允许更新。

export_path

(可选)指定在其中导出文件系统的根的 Amazon S3 路径。当您export_path参数已指定,automatic_backup_retention_dayscopy_tags_to_backupsdaily_automatic_backup_start_time, 和fsx_backup_id不能指定参数。这对应于ExportPath财产。文件数据和元数据不会自动导出到export_path. 有关导出数据和元数据的信息,请参阅将更改导出到数据存储库中的Amazon FSx for Lustre 用户指南.

默认值为 s3://import-bucket/FSxLustre[creation-timestamp],其中 import-bucketimport_path 参数中提供的存储桶。

export_path = s3://bucket/folder

更新:如果更改此设置,则不允许更新。

fsx_backup_id

(可选)指定将其中的文件系统还原时使用的备份的 ID。当您fsx_backup_id参数已指定,auto_import_policydeployment_typeexport_pathfsx_kms_key_idimport_pathimported_file_chunk_sizestorage_capacity, 和per_unit_storage_throughput不能指定参数。这些参数从备份读取。此外,auto_import_policyexport_pathimport_path, 和imported_file_chunk_size不能指定参数。

这对应于BackupId财产。

fsx_backup_id = backup-fedcba98
注意

对该项的支持fsx_backup_id增加了Amazon ParallelCluster版本 2.8.0

更新:如果更改此设置,则不允许更新。

fsx_fs_id

(可选)附加现有的 FSx for Lustre 文件系统。

如果指定了此选项,则只有shared_dir和fsx_fs_id设置设置[fsx]部分以及任何其他设置在[fsx]部分忽略。

fsx_fs_id = fs-073c3803dca3e28a6

更新:如果更改此设置,则不允许更新。

fsx_kms_key_id

(可选)指定您的 Amazon Key Management Service (Amazon KMS) 客户托管密钥的密钥 ID。

此密钥用于加密文件系统中的静态数据。

它必须与自定义 ec2_iam_role 结合使用。有关更多信息,请参阅 使用自定义 KMS 密钥进行磁盘加密。这对应于KmsKeyId参数Amazon FSx API 参考.

fsx_kms_key_id = xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
注意

对该项的支持fsx_kms_key_id增加了Amazon ParallelCluster版本 2.6.0

更新:如果更改此设置,则不允许更新。

import_path

(可选)指定将其中的数据加载到文件系统并用作导出存储桶的 S3 存储桶。有关更多信息,请参阅 export_path。如果你指定import_path参见见见见见时间automatic_backup_retention_dayscopy_tags_to_backupsdaily_automatic_backup_start_time, 和fsx_backup_id不能指定参数。这对应于ImportPath参数Amazon FSx API 参考.

导入在创建集群时发生。有关更多信息,请参阅 。从数据存储库导入数据中的Amazon FSx for Lustre 用户指南. 导入时,仅导入文件元数据(名称、所有权、时间戳和权限)。在首次访问文件之前,不会从 S3 存储桶导入文件数据。有关预加载文件内容的详细信息,请参阅将文件预加载到文件系统中中的Amazon FSx for Lustre 用户指南.

如果未提供值,则该文件系统为空。

import_path = s3://bucket

更新:如果更改此设置,则不允许更新。

imported_file_chunk_size

(可选)对于从数据存储库导入的文件(使用import_path)。可以对单个文件进行条带化的最大磁盘数受构成文件系统的总磁盘数限制。当您imported_file_chunk_size参数已指定,automatic_backup_retention_dayscopy_tags_to_backupsdaily_automatic_backup_start_time, 和fsx_backup_id不能指定参数。这对应于ImportedFileChunkSize财产。

区块大小缺省值为1024(1 GiB),最大值能够达到 512000 MiB (500 GiB)。Amazon S3 数据元的最大大小为 5 TB。

imported_file_chunk_size = 1024

更新:如果更改此设置,则不允许更新。

per_unit_storage_throughput

PERSISTENT_1 部署类型所必需) 对于 deployment_type = PERSISTENT_1 部署类型,描述每 1 TiB 存储的读取和写入吞吐量(以 MB/s/TiB 为单位)。文件系统吞吐量是将通过文件系统存储容量 (TiB) 乘以 per_unit_storage_throughput (MB/s/TiB) 计算得出的。对于 2.4 TiB 文件系统,预配置 50 MB/s/TiB 的 per_unit_storage_throughput 将得到 120 MB/s 的文件系统吞吐量。您需要为预配置的吞吐量付费。这对应于PerUnitStorageThroughput财产。

可能的值取决于storage_type设置。

storage_type = SSD

可能的值为 50、100、200。

storage_type = HDD

可能的值为 12、40。

per_unit_storage_throughput = 200
注意

对该项的支持per_unit_storage_throughput增加了Amazon ParallelCluster版本 2.6.0

更新:如果更改此设置,则不允许更新。

shared_dir

(必需)定义头部和计算节点上FSx for Lustre 文件系统的挂载点。

请勿使用NONE要么/NONE作为共享目录。

以下示例在 /fsx 上挂载文件系统。

shared_dir = /fsx

更新:如果更改此设置,则不允许更新。

storage_capacity

(必需)指定文件系统的存储容量(以 GiB 为单位)。这对应于StorageCapacity财产。

存储容量可以使用的值因 deployment_type 设置而异。

SCRATCH_1

可能的值是 1200 和 2400,以及 3600 的任何倍数。

SCRATCH_2

可能的值是 1200,以及 2400 的任何倍数。

PERSISTENT_1

可能的值因其他设置的值而异。

storage_type = SSD

可能的值是 1200,以及 2400 的任何倍数。

storage_type = HDD

可能的值根据设置而有所不同per_unit_storage_throughput设置。

per_unit_storage_throughput = 12

可能的值是 6000 的任何倍数。

per_unit_storage_throughput = 40

可能的值是 1800 的任何倍数。

storage_capacity = 7200
注意

适用于Amazon ParallelCluster版本 2.5.0 和 2.5.0storage_capacity支持 1200 和 2400 的可能值以及 3600 的任何倍数。对于低于Amazon ParallelCluster version 2.5.0, storage_capacity有一个最小大小 3600。

更新:如果更改此设置,则不允许更新。

storage_type

(可选)指定文件系统的存储类型。这对应于StorageType财产。可能的值为 SSDHDD。默认为 SSD

存储类型会更改其他设置的可能值。

storage_type = SSD

指定固态硬盘 (SSD) 存储类型。

storage_type = SSD更改其他几个设置的可能值。

drive_cache_type

此设置不可指定。

deployment_type

此设置可设置为SCRATCH_1SCRATCH_2,或者PERSISTENT_1.

per_unit_storage_throughput

如果 deployment_type 被设置为 PERSISTENT_1,则必须指定此设置。可能的值为 50、100 或 200。

storage_capacity

必须指定此设置。可能的值根据deployment_type.

deployment_type = SCRATCH_1

storage_capacity可以是 1200、2400 或 3600 的任何倍数。

deployment_type = SCRATCH_2 或者 deployment_type = PERSISTENT_1

storage_capacity可以是 1200 或 2400 的任何倍数。

storage_type = HDD

指定硬盘驱动器 (HDD) 存储类型。

storage_type = HDD更改其他设置的可能值。

drive_cache_type

可以指定此设置。

deployment_type

此设置必须设置为PERSISTENT_1.

per_unit_storage_throughput

必须指定此设置。可能的值为 12 或 40。

storage_capacity

必须指定此设置。可能的值根据per_unit_storage_throughput设置。

storage_capacity = 12

storage_capacity可以是 6000 的任意倍数。

storage_capacity = 40

storage_capacity可以是 1800 的任意倍数。

storage_type = SSD
注意

Supportstorage_type设置已添加到Amazon ParallelCluster版本 2.10.0

更新:如果更改此设置,则不允许更新。

weekly_maintenance_start_time

(可选)指定执行每周维护的首选时间,采用 UTC 时区。这对应于WeeklyMaintenanceStartTime财产。

格式为 [星期几]:[小时]:[分钟]。例如,周一的午夜是:

weekly_maintenance_start_time = 1:00:00

更新:此设置可以在更新期间更改。