[fsx] 部分 - Amazon ParallelCluster
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

[fsx] 部分

定义 Lustre 文件系统的附加 FSx 的配置设置。有关 FSx for Lustre 的更多信息,请参阅Amazon FSx ReCreateFileSystem.

如果base_osalinux2centos7ubuntu1804,或者ubuntu2004.

当使用亚马逊 Linux 时,内核必须 >=4.14.104-78.84.amzn1.x86_64. 有关详细说明,请参阅安装 Lustre 客户端中的Amazon FSx for Lustre.

注意

当前使用时不支持 FSx for Lustreawsbatch作为调度程序。

注意

Support FSx for Lustrecentos8已在中删除Amazon ParallelCluster版本 2.10.4。Support FSx for Lustreubuntu2004增加了Amazon ParallelCluster版本 2.11.0。Support FSx for Lustrecentos8增加了Amazon ParallelCluster版本 2.10.0。Support FSx for Lustrealinux2ubuntu1604, 和ubuntu1804增加了Amazon ParallelCluster版本 2.6.0。Support FSx for Lustrecentos7增加了Amazon ParallelCluster版本 2.4.0。

如果使用现有文件系统,则必须将其关联到一个安全组,该安全组允许到端口 988 的入站 TCP 流量。将来源设置为0.0.0.0/0在安全组规则上,可以从 VPC 安全组中所有 IP 范围的客户端访问该规则的协议和端口范围。要进一步限制对文件系统的访问,我们建议您对安全组规则使用更具限制性的源。例如,您可以使用更具体的 CIDR 范围、IP 地址或安全组 ID。在未使用 vpc_security_group_id 时,将自动执行此操作。

要使用现有 Amazon FSx 文件系统,请指定fsx_fs_id.

格式为[fsx fsx-name].fsx-name必须以字母开头,包含不超过 30 个字符,并且只包含字母、数字、连字符 (-) 和下划线 (_)。

[fsx fs] shared_dir = /fsx fsx_fs_id = fs-073c3803dca3e28a6

要创建并配置新的文件系统,请使用以下参数:

[fsx fs] shared_dir = /fsx storage_capacity = 3600 imported_file_chunk_size = 1024 export_path = s3://bucket/folder import_path = s3://bucket weekly_maintenance_start_time = 1:00:00

auto_import_policy

(可选)指定自动导入策略,用于反映用于为 Lustre 文件系统创建 FSx 的 S3 存储桶中的更改。可能的值包括:

NEW

FSx for Lustre 会自动导入添加到链接 S3 存储桶中但当前不存在于 Lustre 文件系统 FSx 中的任何新对象的目录列表。

NEW_CHANGED

FSx for Lustre 会自动导入添加到 S3 存储桶的任何新对象的文件和目录列表,以及 S3 存储桶中更改的任何现有对象。

这对应于AutoImportPolicy财产。有关更多信息,请参阅 。从 S3 存储桶自动导入更新。中的Amazon FSx for Lustre当您时auto_import_policy已指定参数,automatic_backup_retention_dayscopy_tags_to_backupsdaily_automatic_backup_start_time, 和fsx_backup_id不能指定参数。

如果auto_import_policy未指定设置,自动导入将被禁用。在创建文件系统时,FSx for Lustre 仅更新链接 S3 存储桶中的文件和目录列表。

auto_import_policy = NEW_CHANGED
注意

对该项的支持auto_import_policy增加了Amazon ParallelCluster版本 2.10.0。

更新策略:如果更改此设置,则不允许进行更新。

automatic_backup_retention_days

(可选)指定保留自动备份的天数。这仅适用于PERSISTENT_1部署类型。当您时automatic_backup_retention_days已指定参数,auto_import_policyexport_pathimport_path, 和imported_file_chunk_size不能指定参数。这对应于AutomaticBackupRetentionDays财产。

默认值是 0。此设置禁用自动备份。可能的值是介于 0 到 35 之间的整数,包括在内。

automatic_backup_retention_days = 35
注意

对该项的支持automatic_backup_retention_days增加了Amazon ParallelCluster版本 2.8.0。

更新策略:可以在更新期间更改此设置。

copy_tags_to_backups

(可选)指定是否将文件系统的标签复制到备份中。这仅适用于PERSISTENT_1部署类型。当您时copy_tags_to_backups已指定参数,automatic_backup_retention_days必须指定一个大于 0 的值,并且auto_import_policyexport_pathimport_path, 和imported_file_chunk_size不能指定参数。这对应于CopyTagsToBackups财产。

默认值为 false

copy_tags_to_backups = true
注意

对该项的支持copy_tags_to_backups增加了Amazon ParallelCluster版本 2.8.0。

更新策略:如果更改此设置,则不允许进行更新。

daily_automatic_backup_start_time

(可选)指定开始自动备份的一天中的时间 (UTC)。这仅适用于PERSISTENT_1部署类型。当您时daily_automatic_backup_start_time已指定参数,automatic_backup_retention_days必须指定一个大于 0 的值,并且auto_import_policyexport_pathimport_path, 和imported_file_chunk_size不能指定参数。这对应于DailyAutomaticBackupStartTime财产。

格式为HH:MM其中,HH是一天中的零填充小时 (0-23),以及MM是一小时中的零填充分钟。例如,世界标准时间凌晨 1:03 将是:

daily_automatic_backup_start_time = 01:03

默认值为之间的随机时间00:0023:59.

注意

对该项的支持daily_automatic_backup_start_time增加了Amazon ParallelCluster版本 2.8.0。

更新策略:可以在更新期间更改此设置。

data_compression_type

(可选)为 Lustre 数据压缩类型指定 FSx。这对应于数据压缩类型财产。有关更多信息,请参阅 。FSx for Lustre 数据压缩中的Amazon FSx for Lustre.

唯一有效值为 LZ4。要禁用数据压缩,请删除data_compression_type参数。

data_compression_type = LZ4
注意

对该项的支持data_compression_type增加了Amazon ParallelCluster版本 2.11.0。

更新策略:可以在更新期间更改此设置。

deployment_type

(可选)为 Lustre 部署类型指定 FSx。这对应于DeploymentType财产。有关更多信息,请参阅 。FSx for Lustre 部署选项中的Amazon FSx for Lustre. 选择临时存储和短期处理数据的临时部署类型。SCRATCH_2是最新一代的暂存文件系统。与基准吞吐量和传输中数据加密相比,它提供了更高的突发吞吐量。

有效值为 SCRATCH_1SCRATCH_2PERSISTENT_1

SCRATCH_1

FSx for Lustre 的默认部署类型。对于此部署类型,storage_capacity 设置的可能值为 1200 和 2400,以及 3600 的任何倍数。对该项的支持SCRATCH_1增加了Amazon ParallelCluster版本 2.4.0。

SCRATCH_2

最新一代的暂存文件系统。它支持高达峰值工作负载的基准吞吐量的六倍。它还支持对受支持区域中受支持的实例类型的数据进行传输中加密。有关更多信息,请参阅 。加密传输中的数据中的Amazon FSx for Lustre. 对于此部署类型,storage_capacity 设置的可能值为 1200,以及 2400 的任何倍数。对该项的支持SCRATCH_2增加了Amazon ParallelCluster版本 2.6.0。

PERSISTENT_1

专为长期存储而设计。文件服务器具有高可用性,数据将在文件系统内复制。Amazon可用区,它支持对受支持的实例类型的数据进行传输中加密。对于此部署类型,storage_capacity 设置的可能值为 1200,以及 2400 的任何倍数。对该项的支持PERSISTENT_1增加了Amazon ParallelCluster版本 2.6.0。

默认值为 SCRATCH_1

deployment_type = SCRATCH_2
注意

对该项的支持deployment_type增加了Amazon ParallelCluster版本 2.6.0。

更新策略:如果更改此设置,则不允许进行更新。

drive_cache_type

(可选)指定文件系统具有 SSD 驱动器缓存。只有在storage_type设置已设置为HDD. 这对应于DriveCacheType财产。有关更多信息,请参阅 。FSx for Lustre 部署选项中的Amazon FSx for Lustre.

唯一有效值为 READ。要禁用 SSD 驱动器缓存,请勿指定drive_cache_type设置设置。

drive_cache_type = READ
注意

对该项的支持drive_cache_type增加了Amazon ParallelCluster版本 2.10.0。

更新策略:如果更改此设置,则不允许进行更新。

export_path

(可选)指定在其中导出文件系统的根的 Amazon S3 路径。当您时export_path已指定参数,automatic_backup_retention_dayscopy_tags_to_backupsdaily_automatic_backup_start_time, 和fsx_backup_id不能指定参数。这对应于ExportPath财产。文件数据和元数据不会自动导出到export_path. 有关导出数据和元数据的信息,请参阅使用数据存储库任务导出数据和元数据更改中的Amazon FSx for Lustre.

默认值为 s3://import-bucket/FSxLustre[creation-timestamp],其中 import-bucketimport_path 参数中提供的存储桶。

export_path = s3://bucket/folder

更新策略:如果更改此设置,则不允许进行更新。

fsx_backup_id

(可选)指定从现有备份还原文件系统的备份 ID。当您时fsx_backup_id已指定参数,auto_import_policydeployment_typeexport_pathfsx_kms_key_idimport_pathimported_file_chunk_sizestorage_capacity, 和per_unit_storage_throughput不能指定参数。从备份中读取这些参数。此外,auto_import_policyexport_pathimport_path, 和imported_file_chunk_size不能指定参数。

这对应于BackupId财产。

fsx_backup_id = backup-fedcba98
注意

对该项的支持fsx_backup_id增加了Amazon ParallelCluster版本 2.8.0。

更新策略:如果更改此设置,则不允许进行更新。

fsx_fs_id

(可选)附加一个现有 FSx for Lustre 文件系统。

如果指定了此选项,则只有shared_dir和fsx_fs_id中的设置[fsx]部分已使用以及[fsx]部分忽略了。

fsx_fs_id = fs-073c3803dca3e28a6

更新策略:如果更改此设置,则不允许进行更新。

fsx_kms_key_id

(可选)指定您的 Amazon Key Management Service (Amazon KMS) 客户托管密钥的密钥 ID。

此密钥用于加密文件系统中的静态数据。

它必须与自定义 ec2_iam_role 结合使用。有关更多信息,请参阅 使用自定义 KMS 密钥加密磁盘。这对应于KmsKeyId中的参数Amazon FSx API 参考.

fsx_kms_key_id = xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
注意

对该项的支持fsx_kms_key_id增加了Amazon ParallelCluster版本 2.6.0。

更新策略:如果更改此设置,则不允许进行更新。

import_path

(可选)指定将其中的数据加载到文件系统并作为导出存储桶的 S3 存储桶。有关更多信息,请参阅 export_path。如果你指定import_path参数,automatic_backup_retention_dayscopy_tags_to_backupsdaily_automatic_backup_start_time, 和fsx_backup_id不能指定参数。这对应于ImportPath中的参数Amazon FSx API 参考.

导入在创建集群时发生。有关更多信息,请参阅 。从数据存储库导入数据中的Amazon FSx for Lustre. 导入时,只导入文件元数据(名称、所有权、时间戳和权限)。在首次访问文件之前,文件数据不会从 S3 存储桶中导入。有关预加载文件内容的详细信息,请参阅将文件预加载到文件系统中的Amazon FSx for Lustre.

如果未提供值,则该文件系统为空。

import_path = s3://bucket

更新策略:如果更改此设置,则不允许进行更新。

imported_file_chunk_size

(可选)对于从数据存储库导入的文件(使用),此参数决定单个物理磁盘上存储的每个文件的条带计数和最大数据量(以 MiB 为单位)。import_path)。可以对单个文件进行条带化的最大磁盘数受构成文件系统的总磁盘数限制。当您时imported_file_chunk_size已指定参数,automatic_backup_retention_dayscopy_tags_to_backupsdaily_automatic_backup_start_time, 和fsx_backup_id不能指定参数。这对应于ImportedFileChunkSize财产。

区块大小默认为1024(1 GiB),最大值能够达到 522000 MiB (500 GiB)。Amazon S3 数据元的最大大小为 5 TB。

imported_file_chunk_size = 1024

更新策略:如果更改此设置,则不允许进行更新。

per_unit_storage_throughput

PERSISTENT_1 部署类型所必需) 对于 deployment_type = PERSISTENT_1 部署类型,描述每 1 TiB 存储的读取和写入吞吐量(以 MB/s/TiB 为单位)。文件系统吞吐量是将通过文件系统存储容量 (TiB) 乘以 per_unit_storage_throughput (MB/s/TiB) 计算得出的。对于 2.4 TiB 文件系统,预配置 50 MB/s/TiB 的 per_unit_storage_throughput 将得到 120 MB/s 的文件系统吞吐量。您需要为预配置的吞吐量付费。这对应于PerUnitStorageThroughput财产。

可能的值取决于的值。storage_type设置设置。

storage_type = SSD

可能的值为 50、100、200。

storage_type = HDD

可能的值为 12,40。

per_unit_storage_throughput = 200
注意

对该项的支持per_unit_storage_throughput增加了Amazon ParallelCluster版本 2.6.0。

更新策略:如果更改此设置,则不允许进行更新。

shared_dir

(必需)在头部和计算节点上定义 FSx for Lustre 文件系统的挂载点。

请勿使用NONE要么/NONE作为共享目录。

以下示例在 /fsx 上挂载文件系统。

shared_dir = /fsx

更新策略:如果更改此设置,则不允许进行更新。

storage_capacity

(必需)指定文件系统的存储容量(以 GiB 为单位)。这对应于StorageCapacity财产。

存储容量可以使用的值因 deployment_type 设置而异。

SCRATCH_1

可能的值是 1200 和 2400,以及 3600 的任何倍数。

SCRATCH_2

可能的值是 1200,以及 2400 的任何倍数。

PERSISTENT_1

可能的值因其他设置的值而异。

storage_type = SSD

可能的值是 1200,以及 2400 的任何倍数。

storage_type = HDD

可能的值因设置而异。per_unit_storage_throughput设置设置。

per_unit_storage_throughput = 12

可能的值为 6000 的任何倍数。

per_unit_storage_throughput = 40

可能的值为 1800 的任何倍数。

storage_capacity = 7200
注意

适用于Amazon ParallelCluster版本 2.5.0 和 2.5.1storage_capacity支持 1200、2400 的可能值以及 3600 的任何倍数。对于早于Amazon ParallelCluster版本 2.5.0storage_capacity其尺寸至少为 3600。

更新策略:如果更改此设置,则不允许进行更新。

storage_type

(可选)指定文件系统的存储类型。这对应于StorageType财产。可能的值为 SSDHDD。默认为 SSD

存储类型会更改其他设置的可能值。

storage_type = SSD

指定固态硬盘 (SSD) 存储类型。

storage_type = SSD更改其他几个设置的可能值。

drive_cache_type

此设置则无法指定。

deployment_type

此设置可设置为SCRATCH_1SCRATCH_2,或者PERSISTENT_1.

per_unit_storage_throughput

必须指定此设置:deployment_type设置为PERSISTENT_1. 可能的值为 50、100 或 200。

storage_capacity

必须指定此设置。可能的值因此而有所不同deployment_type.

deployment_type = SCRATCH_1

storage_capacity可以是 1200、2400 或 3600 的任何倍数。

deployment_type = SCRATCH_2 或者 deployment_type = PERSISTENT_1

storage_capacity可以是 1200 或 2400 的任何倍数。

storage_type = HDD

指定硬盘驱动器 (HDD) 存储类型。

storage_type = HDD更改其他设置的可能值。

drive_cache_type

可以指定此设置。

deployment_type

必须将此设置设置为PERSISTENT_1.

per_unit_storage_throughput

必须指定此设置。可能的值为 12 或 40。

storage_capacity

必须指定此设置。可能的值因per_unit_storage_throughput设置设置。

storage_capacity = 12

storage_capacity可以是 6000 的任意倍数。

storage_capacity = 40

storage_capacity可以是 1800 的任意倍数。

storage_type = SSD
注意

Supportstorage_type已在中添加了设置Amazon ParallelCluster版本 2.10.0。

更新策略:如果更改此设置,则不允许进行更新。

weekly_maintenance_start_time

(可选)指定执行每周维护的首选时间,采用 UTC 时区。这对应于WeeklyMaintenanceStartTime财产。

格式为 [星期几]:[小时]:[分钟]。例如,周一的午夜是:

weekly_maintenance_start_time = 1:00:00

更新策略:可以在更新期间更改此设置。