[fsx] 部分 - Amazon ParallelCluster
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

[fsx] 部分

定义 Amazon FSx for Lustre 文件系统的配置设置。有关 Amazon FSx for Lustre for Lustre 的更多信息,请参阅Amazon FSx CreateFileSystem

Amazon FSx for Lustre 支持,如果base_osalinux2centos7centos8ubuntu1804,或者ubuntu2004

当使用 Amazon Linux 时,内核必须 >=4.14.104-78.84.amzn1.x86_64。有关详细说明,请参阅安装光泽客户端中的Amazon FSx for Lustre 用户指南

注意

用 Amazon FSx for Lustre 当前不支持使用awsbatch作为计划程序。

注意

Amazon FSx for Lustre Amazon FSx Supportubuntu2004增加了Amazon ParallelCluster版本 2.11.0 Amazon FSx for Lustre Supportcentos8增加了Amazon ParallelCluster版本 2.10.0 Amazon FSx for Lustre Supportalinux2ubuntu1604, 和ubuntu1804增加了Amazon ParallelCluster版本 2.6.0 Amazon FSx for Lustre Supportcentos7增加了Amazon ParallelCluster版本 2.4.0

如果使用现有文件系统,则必须将其关联到一个安全组,该安全组允许到端口 988 的入站 TCP 流量。将来源设置为0.0.0.0/0提供从 VPC 安全组中所有 IP 范围的客户端访问该规则的协议和端口范围。要进一步限制对文件系统的访问,我们建议您对安全组规则使用更具限制性的源。例如,您可以使用更具体的 CIDR 范围、IP 地址或安全组 ID。在未使用 vpc_security_group_id 时,将自动执行此操作。

要使用现有 Amazon FSx 文件系统,请指定fsx_fs_id

格式为[fsx fsx-name]FSX 名称必须以字母开始,包含不超过 30 个字符,仅包含字母、数字、连字符 (-) 和下划线 (_)。

[fsx fs] shared_dir = /fsx fsx_fs_id = fs-073c3803dca3e28a6

要创建并配置新的文件系统,请使用以下参数:

[fsx fs] shared_dir = /fsx storage_capacity = 3600 imported_file_chunk_size = 1024 export_path = s3://bucket/folder import_path = s3://bucket weekly_maintenance_start_time = 1:00:00

auto_import_policy

(可选)指定用于反映 S3 存储桶中的更改的自动导入策略,用于创建用于 Lustre 文件系统的 Amazon FSX。可能的值包括:

NEW

Amazon FSx for Lustre 文件系统中当前不存在于 Amazon FSx for Lustre 文件系统中的任何新对象的目录列表 for Lustre 文件系统。

NEW_CHANGED

Amazon FSx for Lustre 会自动导入添加到 S3 存储桶的任何新对象的文件和目录列表,以及在 S3 存储桶中更改的任何现有对象。

这对应于AutoImportPolicy属性。有关更多信息,请参阅 。自动从 S3 存储桶导入更新中的Amazon FSx for Lustre 用户指南当auto_import_policy参数,则automatic_backup_retention_dayscopy_tags_to_backupsdaily_automatic_backup_start_time, 和fsx_backup_id参数不能指定。

如果auto_import_policy设置,则禁用自动导入。Amazon FSx for Lustre 仅在创建文件系统时更新链接 S3 存储桶中的文件和目录列表。

auto_import_policy = NEW_CHANGED
注意

对该项的支持auto_import_policy增加了Amazon ParallelCluster版本 2.10.0。

更新策略:如果更改此设置,则不允许更新。

automatic_backup_retention_days

(可选)指定要保留自动备份的天数。这仅适用于PERSISTENT_1部署类型。当automatic_backup_retention_days参数,则auto_import_policyexport_pathimport_path, 和imported_file_chunk_size参数不能指定。这对应于AutomaticBackupRetentionDays属性。

默认值是 0。此设置禁用自动备份。可能的值是介于 0 到 35 之间的整数(包括在内)。

automatic_backup_retention_days = 35
注意

对该项的支持automatic_backup_retention_days增加了Amazon ParallelCluster版本 2.8.0

更新策略:更新期间可更改此设置。

copy_tags_to_backups

(可选)指定是否将文件系统的标签复制到备份中。这仅适用于PERSISTENT_1部署类型。当copy_tags_to_backups参数,则automatic_backup_retention_days必须使用大于 0 的值指定,而auto_import_policyexport_pathimport_path, 和imported_file_chunk_size参数不能指定。这对应于CopyTagsToBackups属性。

默认值为 false

copy_tags_to_backups = true
注意

对该项的支持copy_tags_to_backups增加了Amazon ParallelCluster版本 2.8.0

更新策略:如果更改此设置,则不允许更新。

daily_automatic_backup_start_time

(可选)指定开始自动备份的时间 (UTC)。这仅适用于PERSISTENT_1部署类型。当daily_automatic_backup_start_time参数,则automatic_backup_retention_days必须使用大于 0 的值指定,而auto_import_policyexport_pathimport_path, 和imported_file_chunk_size参数不能指定。这对应于DailyAutomaticBackupStartTime属性。

格式为HH:MM,其中HH是一天中的零填充小时(0-23),而MM是小时的零填充分钟。例如,UTC 上午 1:03 将是:

daily_automatic_backup_start_time = 01:03

默认值为介于00:0023:59

注意

对该项的支持daily_automatic_backup_start_time增加了Amazon ParallelCluster版本 2.8.0

更新策略:更新期间可更改此设置。

data_compression_type

(可选)指定 Amazon FSx for Lustre 数据压缩类型。这对应于数据集显示类型属性。有关更多信息,请参阅 。Amazon FSx for Lustre 数据压缩中的Amazon FSx for Lustre 用户指南

唯一有效值为 LZ4。要禁用数据压缩,请删除data_compression_type参数。

data_compression_type = LZ4
注意

对该项的支持增加了Amazon ParallelCluster版本 2.11.0。

更新策略:更新期间可更改此设置。

deployment_type

(可选)指定 Amazon FSx for Lustre 部署类型。这对应于DeploymentType属性。有关更多信息,请参阅 。Amazon FSx for Lustre 部署选项中的Amazon FSx for Lustre 用户指南。选择临时存储和短期处理数据的临时部署类型。SCRATCH_2是最新一代的临时文件系统。与基准吞吐量和传输中数据加密相比,它提供更高的突发吞吐量。

有效值为 SCRATCH_1SCRATCH_2PERSISTENT_1

SCRATCH_1

Amazon FSx for Lustre 的默认部署类型。对于此部署类型,storage_capacity 设置的可能值为 1200 和 2400,以及 3600 的任何倍数。对该项的支持SCRATCH_1增加了Amazon ParallelCluster版本 2.4.0

SCRATCH_2

最新一代的暂存文件系统。对于高峰工作负载,它支持高达六倍的基准吞吐量。它还支持对受支持的区域中受支持的实例类型的数据进行传输加密。有关更多信息,请参阅 。对传输中的数据加密中的Amazon FSx for Lustre 用户指南。对于此部署类型,storage_capacity 设置的可能值为 1200,以及 2400 的任何倍数。对该项的支持SCRATCH_2增加了Amazon ParallelCluster版本 2.6.0

PERSISTENT_1

专为长期存储而设计。文件服务器具有高可用性,数据将在文件系统的Amazon可用区,它支持对受支持的实例类型的数据进行传输加密。对于此部署类型,storage_capacity 设置的可能值为 1200,以及 2400 的任何倍数。对该项的支持PERSISTENT_1增加了Amazon ParallelCluster版本 2.6.0

默认值为 SCRATCH_1

deployment_type = SCRATCH_2
注意

对该项的支持deployment_type增加了Amazon ParallelCluster版本 2.6.0

更新策略:如果更改此设置,则不允许更新。

drive_cache_type

(可选)指定文件系统具有 SSD 驱动器缓存。这只能在storage_type设置设置已设置为HDD。这对应于DriveCacheType属性。有关更多信息,请参阅 。Amazon FSx for Lustre 部署选项中的Amazon FSx for Lustre 用户指南

唯一有效值为 READ。要禁用 SSD 驱动器缓存,请不要指定drive_cache_type设置。

drive_cache_type = READ
注意

对该项的支持drive_cache_type增加了Amazon ParallelCluster版本 2.10.0。

更新策略:如果更改此设置,则不允许更新。

export_path

(可选)指定在其中导出文件系统的根的 Amazon S3 路径。当export_path参数,则automatic_backup_retention_dayscopy_tags_to_backupsdaily_automatic_backup_start_time, 和fsx_backup_id参数不能指定。这对应于ExportPath属性。文件数据和元数据不会自动导出到export_path。有关导出数据和元数据的信息,请参阅使用数据存储库任务导出数据和元数据更改中的Amazon FSx for Lustre 用户指南

默认值为 s3://import-bucket/FSxLustre[creation-timestamp],其中 import-bucketimport_path 参数中提供的存储桶。

export_path = s3://bucket/folder

更新策略:如果更改此设置,则不允许更新。

fsx_backup_id

(可选)指定从现有备份还原文件系统时使用的备份 ID。当fsx_backup_id参数,则auto_import_policydeployment_typeexport_pathfsx_kms_key_idimport_pathimported_file_chunk_sizestorage_capacity, 和per_unit_storage_throughput参数不能指定。从备份读取这些参数。此外,auto_import_policyexport_pathimport_path, 和imported_file_chunk_size参数不能指定。

这对应于BackupId属性。

fsx_backup_id = backup-fedcba98
注意

对该项的支持fsx_backup_id增加了Amazon ParallelCluster版本 2.8.0

更新策略:如果更改此设置,则不允许更新。

fsx_fs_id

(可选)附加 Amazon FSx for Lustre 文件系统。

如果指定了此选项,则只有shared_dir和fsx_fs_id中的设置[fsx]部分中的任何其他设置[fsx]部分将被忽略。

fsx_fs_id = fs-073c3803dca3e28a6

更新策略:如果更改此设置,则不允许更新。

fsx_kms_key_id

(可选)指定您的 Amazon Key Management Service (Amazon KMS) 客户托管密钥的密钥 ID。

此密钥用于加密文件系统中的静态数据。

它必须与自定义 ec2_iam_role 结合使用。有关更多信息,请参阅 使用自定义 KMS 密钥进行磁盘加密。这对应于KmsKeyId中的参数Amazon FSx API 参考

.

fsx_kms_key_id = xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
注意

对该项的支持fsx_kms_key_id增加了Amazon ParallelCluster版本 2.6.0

更新策略:如果更改此设置,则不允许更新。

import_path

(可选)指定将其中的数据加载到文件系统并作为导出存储桶的 S3 存储桶。有关更多信息,请参阅 export_path。如果您指定import_path参数,automatic_backup_retention_dayscopy_tags_to_backupsdaily_automatic_backup_start_time, 和fsx_backup_id参数不能指定。这对应于ImportPath中的参数Amazon FSx API 参考

导入在创建集群时发生。有关更多信息,请参阅 。从数据存储库导入数据中的Amazon FSx for Lustre 用户指南。导入时,仅导入文件元数据(名称、所有权、时间戳和权限)。在首次访问文件之前,不会从 S3 存储桶导入文件数据。有关预加载文件内容的详细信息,请参阅将文件预加载到文件系统中的Amazon FSx for Lustre 用户指南

如果未提供值,则该文件系统为空。

import_path = s3://bucket

更新策略:如果更改此设置,则不允许更新。

imported_file_chunk_size

(可选)决定从数据存储库导入的文件的每个文件(以 MiB 为单位)的条带计数和最大数据量(以 MiB 为单位)(使用import_path)。可以对单个文件进行条带化的最大磁盘数受构成文件系统的总磁盘数限制。当imported_file_chunk_size参数,则automatic_backup_retention_dayscopy_tags_to_backupsdaily_automatic_backup_start_time, 和fsx_backup_id参数不能指定。这对应于ImportedFileChunkSize属性。

块大小的默认值为1024(1 GiB),最高可达 512000 MiB (500 GiB)。Amazon S3 数据元的最大大小为 5 TB。

imported_file_chunk_size = 1024

更新策略:如果更改此设置,则不允许更新。

per_unit_storage_throughput

PERSISTENT_1 部署类型所必需) 对于 deployment_type = PERSISTENT_1 部署类型,描述每 1 TiB 存储的读取和写入吞吐量(以 MB/s/TiB 为单位)。文件系统吞吐量是将通过文件系统存储容量 (TiB) 乘以 per_unit_storage_throughput (MB/s/TiB) 计算得出的。对于 2.4 TiB 文件系统,预配置 50 MB/s/TiB 的 per_unit_storage_throughput 将得到 120 MB/s 的文件系统吞吐量。您需要为预配置的吞吐量付费。这对应于PerUnitStorageThroughput属性。

可能的值取决于storage_type设置。

storage_type = SSD

可能的值为 50、100、200。

storage_type = HDD

可能的值为 12,40。

per_unit_storage_throughput = 200
注意

对该项的支持per_unit_storage_throughput增加了Amazon ParallelCluster版本 2.6.0

更新策略:如果更改此设置,则不允许更新。

shared_dir

(必需)定义 Amazon FSx for Lustre 文件系统在头和计算节点上的挂载点。

请勿使用NONE或者/NONE作为共享目录。

以下示例在 /fsx 上挂载文件系统。

shared_dir = /fsx

更新策略:如果更改此设置,则不允许更新。

storage_capacity

(必需)指定文件系统的存储容量(以 GiB 为单位)。这对应于StorageCapacity属性。

存储容量可以使用的值因 deployment_type 设置而异。

SCRATCH_1

可能的值是 1200 和 2400,以及 3600 的任何倍数。

SCRATCH_2

可能的值是 1200,以及 2400 的任何倍数。

PERSISTENT_1

可能的值因其他设置的值而异。

storage_type = SSD

可能的值是 1200,以及 2400 的任何倍数。

storage_type = HDD

可能的值因设置而异。per_unit_storage_throughput设置。

per_unit_storage_throughput = 12

可能的值为 6000 的任何倍数。

per_unit_storage_throughput = 40

可能的值为 1800 的任何倍数。

storage_capacity = 7200
注意

适用于Amazon ParallelCluster版本 2.5.0 和 2.5.1storage_capacity支持 1200 和 2400,以及 3600 的任何倍数。对于低于Amazon ParallelCluster版本 2.5.0storage_capacity的最小大小为 3600。

更新策略:如果更改此设置,则不允许更新。

storage_type

(可选)指定文件系统的存储类型。这对应于StorageType属性。可能的值为 SSDHDD。默认为 SSD

存储类型会更改其他设置的可能值。

storage_type = SSD

指定销售状态驱动器 (SSD) 存储类型。

storage_type = SSD会更改其他几个设置的可能值。

drive_cache_type

则无法指定此设置。

deployment_type

此设置可设置为SCRATCH_1SCRATCH_2,或者PERSISTENT_1

per_unit_storage_throughput

必须指定此设置deployment_type设置为PERSISTENT_1。可能的值为 50、100 或 200。

storage_capacity

必须指定此设置。可能的值因deployment_type

deployment_type = SCRATCH_1

storage_capacity可以是 1200、2400 或 3600 的任何倍数。

deployment_type = SCRATCH_2 或者 deployment_type = PERSISTENT_1

storage_capacity可以是 1200 或 2400 的任何倍数。

storage_type = HDD

指定硬盘驱动器 (HDD) 存储类型。

storage_type = HDD会更改其他设置的可能值。

drive_cache_type

可以指定此设置。

deployment_type

此设置必须设置为PERSISTENT_1

per_unit_storage_throughput

必须指定此设置。可能的值为 12 或 40。

storage_capacity

必须指定此设置。可能的值因per_unit_storage_throughput设置。

storage_capacity = 12

storage_capacity可以是 6000 的任意倍数。

storage_capacity = 40

storage_capacity可以是 1800 的任意倍数。

storage_type = SSD
注意

对的 Supportstorage_type设置已添加到Amazon ParallelCluster版本 2.10.0。

更新策略:如果更改此设置,则不允许更新。

weekly_maintenance_start_time

(可选)指定执行每周维护的首选时间,采用 UTC 时区。这对应于WeeklyMaintenanceStartTime属性。

格式为 [星期几]:[小时]:[分钟]。例如,周一的午夜是:

weekly_maintenance_start_time = 1:00:00

更新策略:更新期间可更改此设置。