[fsx] 部分 - Amazon ParallelCluster
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

[fsx] 部分

为附加的 FSx for Lustre 文件系统定义配置设置。有关更多信息,请参阅《亚马逊 FSx API 参考》 CreateFileSystem中的 Amazon FSx

如果base_osalinux2centos7ubuntu1804、或ubuntu2004,则支持 FSx for Lustre。

使用 Amazon Linux 时,内核必须是4.14.104-78.84.amzn1.x86_64或更高版本。有关说明,请参阅亚马逊 FSx for Lustre 用户指南》中的 “安装 lustre 客户端”。

注意

awsbatch用作调度程序时,目前不支持 FSx for Lustre。

注意

Amazon ParallelCluster版本 2.10.4 中删除了对 FSx for Lustre 的Support。centos8Amazon ParallelCluster版本 2.11.0 中添加了对适用于 Lustreubuntu2004 的 FSx 的Support。Amazon ParallelCluster版本 2.10.0 中添加了对 FSx for Lustre 的Support。centos8alinux2ubuntu1604ubuntu1804 2.6.0Amazon ParallelCluster 版本中添加了对 FSx for Lustre 的Support。Amazon ParallelCluster版本 2.4.0 中添加了对 FSx for Lustre 的Support。centos7

如果使用现有文件系统,则必须将其关联到一个安全组,该安全组允许到端口 988 的入站 TCP 流量。在安全组规则0.0.0.0/0上将源设置为可让客户端从您的 VPC 安全组内该协议的所有 IP 范围和该规则的端口范围进行访问。为了进一步限制对文件系统的访问,我们建议对安全组规则使用更严格的来源。例如,您可以使用更具体的 CIDR 范围、IP 地址或安全组 ID。在未使用 vpc_security_group_id 时,将自动执行此操作。

要使用现有的 Amazon FSx 文件系统进行独立于集群生命周期的长期永久存储,请指定fsx_fs_id

如果您未指定fsx_fs_id,则在Amazon ParallelCluster创建群集时根据[fsx]设置创建 FSx for Lustre 文件系统,并在删除群集时删除文件系统和数据。

有关更多信息,请参阅 最佳实践:将集群移至新的Amazon ParallelCluster次要版本或补丁版本

格式是[fsx fsx-name]fsx-nam e 必须以字母开头,包含不超过 30 个字符,并且仅包含字母、数字、连字符 (-) 和下划线 (_)。

[fsx fs] shared_dir = /fsx fsx_fs_id = fs-073c3803dca3e28a6

要创建并配置新的文件系统,请使用以下参数:

[fsx fs] shared_dir = /fsx storage_capacity = 3600 imported_file_chunk_size = 1024 export_path = s3://bucket/folder import_path = s3://bucket weekly_maintenance_start_time = 1:00:00

auto_import_policy

(可选)指定自动导入策略,以反映用于创建 FSx for Lustre 文件系统的 S3 存储桶中的更改。可能的值包括:

NEW

FSx for Lustre 会自动导入添加到链接 S3 桶中但当前不存在于 FSx for Lustre 文件系统中的任何新对象的目录列表。

NEW_CHANGED

FSx for Lustre 会自动导入添加到 S3 桶的任何新对象的文件和目录列表,以及在 S3 桶中更改的任何现有对象。

这与AutoImportPolicy属性相对应。有关更多信息,请参阅 Amazon FSx for Lustre 用户指南中的自动从 S3 桶导入更新。指定auto_import_policy参数后,不得指定automatic_backup_retention_dayscopy_tags_to_backupsdaily_automatic_backup_start_time、、和fsx_backup_id参数。

如果未指定该auto_import_policy设置,则禁用自动导入。FSx for Lustre 仅在创建文件系统时更新链接的 S3 桶中的文件和目录列表。

auto_import_policy = NEW_CHANGED
注意

Amazon ParallelCluster版本 2.10.0 中添加了对的Support。auto_import_policy

更新策略:如果更改此设置,则不允许更新。

automatic_backup_retention_days

(可选)指定保留自动备份的天数。这仅适用于PERSISTENT_1部署类型。指定automatic_backup_retention_days参数后,不得指定auto_import_policyexport_pathimport_path、、和imported_file_chunk_size参数。这与AutomaticBackupRetentionDays属性相对应。

默认值为 0。此设置禁用自动备份。可能的值是介于 0 到 35(含)之间的整数。

automatic_backup_retention_days = 35
注意

Amazon ParallelCluster版本 2.8.0automatic_backup_retention_days 中添加了对的Support。

更新策略:可以在更新期间更改此设置。

copy_tags_to_backups

(可选)指定是否将文件系统的标签复制到备份中。这仅适用于PERSISTENT_1部署类型。指定copy_tags_to_backups参数时,automatic_backup_retention_days必须使用大于 0 的值来指定,并且不得指定auto_import_policyexport_pathimport_path、、和imported_file_chunk_size参数。这与CopyTagsToBackups属性相对应。

默认值为 false

copy_tags_to_backups = true
注意

Amazon ParallelCluster版本 2.8.0copy_tags_to_backups 中添加了对的Support。

更新策略:如果更改此设置,则不允许更新。

daily_automatic_backup_start_time

(可选)指定一天中启动自动备份的时间 (UTC)。这仅适用于PERSISTENT_1部署类型。指定daily_automatic_backup_start_time参数时,automatic_backup_retention_days必须使用大于 0 的值来指定,并且不得指定auto_import_policyexport_pathimport_path、、和imported_file_chunk_size参数。这与DailyAutomaticBackupStartTime属性相对应。

格式为HH:MM,其中HH是一天中的零填充小时(0-23)MM,而小时中的零填充分钟。例如,世界标准时间凌晨 1:03 如下所示。

daily_automatic_backup_start_time = 01:03

默认值为介于00:00和之间的随机时间23:59

注意

Amazon ParallelCluster版本 2.8.0daily_automatic_backup_start_time 中添加了对的Support。

更新策略:可以在更新期间更改此设置。

data_compression_type

(可选)指定 Lustre 数据压缩类型的 FSx。这与DataCompressionType属性相对应。有关更多信息,请参阅 Amazon FSx for Lustre 用户指南的 FSx for Lustre 数据压缩

唯一有效值为 LZ4。要禁用数据压缩,请删除data_compression_type参数。

data_compression_type = LZ4
注意

Amazon ParallelCluster版本 2.11.0 中添加了对的Support。data_compression_type

更新策略:可以在更新期间更改此设置。

deployment_type

(可选)指定 Lustre 部署类型的 FSx。这与DeploymentType属性相对应。有关更多信息,请参阅 Amazon FSx for Lustre 用户指南的 FSx for Lustre 部署选项。为临时存储和短期处理数据选择临时部署类型。 SCRATCH_2是最新一代的临时文件系统。与基准吞吐量相比,它提供了更高的突发吞吐量,以及数据的传输中加密。

有效值为 SCRATCH_1SCRATCH_2PERSISTENT_1

SCRATCH_1

FSx for Lustre 的默认部署类型。对于此部署类型,storage_capacity 设置的可能值为 1200 和 2400,以及 3600 的任何倍数。Amazon ParallelCluster版本 2.4.0SCRATCH_1 中添加了对的Support。

SCRATCH_2

最新一代的临时文件系统。对于尖峰工作负载,它最多可支持六倍的基准吞吐量。它还支持在支持的实例类型中对数据进行传输中加密Amazon Web Services 区域。有关更多信息,请参阅 Amazon FSx for Lustre 用户指南中的加密传输中的数据。对于此部署类型,storage_capacity 设置的可能值为 1200,以及 2400 的任何倍数。Amazon ParallelCluster版本 2.6.0SCRATCH_2 中添加了对的Support。

PERSISTENT_1

专为长期存储而设计。文件服务器具有高可用性,数据在文件系统的Amazon可用区内进行复制。它支持对支持的实例类型的数据进行传输中加密。对于此部署类型,storage_capacity 设置的可能值为 1200,以及 2400 的任何倍数。Amazon ParallelCluster版本 2.6.0PERSISTENT_1 中添加了对的Support。

默认值为 SCRATCH_1

deployment_type = SCRATCH_2
注意

Amazon ParallelCluster版本 2.6.0deployment_type 中添加了对的Support。

更新策略:如果更改此设置,则不允许更新。

drive_cache_type

(可选)指定文件系统具有 SSD 驱动器缓存。只有将该设置设置为,才能将其storage_type设置HDD。这与DriveCacheType属性相对应。有关更多信息,请参阅 Amazon FSx for Lustre 用户指南的 FSx for Lustre 部署选项

唯一有效值为 READ。要禁用 SSD 驱动器缓存,请不要指定drive_cache_type设置。

drive_cache_type = READ
注意

Amazon ParallelCluster版本 2.10.0 中添加了对的Support。drive_cache_type

更新策略:如果更改此设置,则不允许更新。

export_path

(可选)指定导出文件系统根的 Amazon S3 路径。指定export_path参数后,不得指定automatic_backup_retention_dayscopy_tags_to_backupsdaily_automatic_backup_start_time、、和fsx_backup_id参数。这与ExportPath属性相对应。文件数据和元数据不会自动导出到export_path。有关导出数据和元数据的信息,请参阅 Amazon FSx for Lustre 用户指南中的将更改导出到数据存储库

默认值为 s3://import-bucket/FSxLustre[creation-timestamp],其中 import-bucketimport_path 参数中提供的存储桶。

export_path = s3://bucket/folder

更新策略:如果更改此设置,则不允许更新。

fsx_backup_id

(可选)指定用于从现有备份恢复文件系统的备份 ID。指定fsx_backup_id参数后,不得指定auto_import_policydeployment_typeexport_pathfsx_kms_key_idimport_pathimported_file_chunk_sizestorage_capacity、、、和per_unit_storage_throughput参数。这些参数是从备份中读取的。此外auto_import_policy,不得指定export_pathimport_path、、和imported_file_chunk_size参数。

这与BackupId属性相对应。

fsx_backup_id = backup-fedcba98
注意

Amazon ParallelCluster版本 2.8.0fsx_backup_id 中添加了对的Support。

更新策略:如果更改此设置,则不允许更新。

fsx_fs_id

(可选)附加现有的 FSx for Lustre 文件系统。

如果指定了此选项,则仅使用该[fsx]部分中的shared_dir和fsx_fs_id设置,而忽略该[fsx]部分中的任何其他设置。

fsx_fs_id = fs-073c3803dca3e28a6

更新策略:如果更改此设置,则不允许更新。

fsx_kms_key_id

(可选)指定您的 Amazon Key Management Service (Amazon KMS) 客户托管密钥的密钥 ID。

此密钥用于加密文件系统中的静态数据。

它必须与自定义 ec2_iam_role 结合使用。有关更多信息,请参阅 使用自定义 KMS 密钥进行磁盘加密。这与亚马逊 FSx API 参考中的KmsKeyId参数相对应。

fsx_kms_key_id = xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
注意

Amazon ParallelCluster版本 2.6.0fsx_kms_key_id 中添加了对的Support。

更新策略:如果更改此设置,则不允许更新。

import_path

(可选)指定要将数据加载到文件系统并用作导出存储桶的 S3 存储桶。有关更多信息,请参阅 export_path。如果指定import_path参数,则不得指定automatic_backup_retention_dayscopy_tags_to_backupsdaily_automatic_backup_start_time、、和fsx_backup_id参数。这与亚马逊 FSx API 参考中的ImportPath参数相对应。

导入在创建集群时发生。有关更多信息,请参阅 Amazon FSx for Lustre 用户指南中的从数据存储库导入数据。导入时,仅导入文件元数据(名称、所有权、时间戳和权限)。在首次访问文件之前,不会从 S3 桶导入文件数据。有关预加载文件内容的信息,请参阅 Amazon FSx for Lustre 用户指南中的将文件预加载到您的文件系统中。

如果未提供值,则文件系统为空。

import_path = s3://bucket

更新策略:如果更改此设置,则不允许更新。

imported_file_chunk_size

(可选)为从数据存储库导入的文件(使用)确定单个物理磁盘上存储的每个文件的条带计数和最大数据量(以 MiB 为单位import_path)。可以对单个文件进行条带化的最大磁盘数受构成文件系统的总磁盘数限制。指定imported_file_chunk_size参数后,不得指定automatic_backup_retention_dayscopy_tags_to_backupsdaily_automatic_backup_start_time、、和fsx_backup_id参数。这与ImportedFileChunkSize属性相对应。

区块大小默认为1024 (1 GiB),可以高达 512,000 MiB(500 GiB)。Amazon S3 数据元的最大大小为 5 TB。

imported_file_chunk_size = 1024

更新策略:如果更改此设置,则不允许更新。

per_unit_storage_throughput

PERSISTENT_1 部署类型所必需) 对于 deployment_type = PERSISTENT_1 部署类型,描述每 1 TiB 存储的读取和写入吞吐量(以 MB/s/TiB 为单位)。文件系统吞吐能力是将通过文件系统存储容量(TiB)乘以 per_unit_storage_throughput(MB/s/TiB)计算得出的。对于 2.4 TiB 文件系统,预配置 50 MB/s/TiB 的 per_unit_storage_throughput 将得到 120 MB/s 的文件系统吞吐量。您需要为预配置的吞吐量付费。这与PerUnitStorageThroughput属性相对应。

可能的值取决于storage_type设置的值。

storage_type = SSD

可能的值为 50、100、200。

storage_type = HDD

可能的值为 12,40。

per_unit_storage_throughput = 200
注意

Amazon ParallelCluster版本 2.6.0per_unit_storage_throughput 中添加了对的Support。

更新策略:如果更改此设置,则不允许更新。

shared_dir

(必需)定义头节点和计算节点上的 FSx for Lustre 文件系统的挂载点。

不要使用NONE/NONE作为共享目录。

以下示例在 /fsx 上挂载文件系统。

shared_dir = /fsx

更新策略:如果更改此设置,则不允许更新。

storage_capacity

(必需)指定文件系统的存储容量(以 GiB 为单位)。这与StorageCapacity属性相对应。

存储容量可以使用的值因 deployment_type 设置而异。

SCRATCH_1

可能的值是 1200 和 2400,以及 3600 的任何倍数。

SCRATCH_2

可能的值是 1200,以及 2400 的任何倍数。

PERSISTENT_1

可能的值根据其他设置的不同而有所不同。

storage_type = SSD

可能的值是 1200,以及 2400 的任何倍数。

storage_type = HDD

可能的值根据设置不同而有所不同。per_unit_storage_throughput

per_unit_storage_throughput = 12

可能的值为 6000 的任意倍数。

per_unit_storage_throughput = 40

可能的值为 1800 的任意倍数。

storage_capacity = 7200
注意

对于Amazon ParallelCluster版本 2.5.0 和 2.5.1,storage_capacity支持的可能值为 1200、2400 和 3600 的任意倍数。对于早于 2.5.0 的Amazon ParallelCluster版本storage_capacity,最小大小为 3600。

更新策略:如果更改此设置,则不允许更新。

storage_type

(可选)指定文件系统的存储类型。这与StorageType属性相对应。可能的值为 SSDHDD。默认为 SSD

存储类型会更改其他设置的可能值。

storage_type = SSD

指定固态驱动器 (SSD) 存储类型。

storage_type = SSD更改了其他几项设置的可能值。

drive_cache_type

无法指定此设置。

deployment_type

此设置可以设置为SCRATCH_1SCRATCH_2、或PERSISTENT_1

per_unit_storage_throughput

如果 deployment_type 被设置为 PERSISTENT_1,则必须指定此设置。可能的值为 50、100 或 200。

storage_capacity

此项设置必须指定。可能的不同而有所不同deployment_type

deployment_type = SCRATCH_1

storage_capacity可以是 1200、2400 或 3600 的任意倍数。

deployment_type = SCRATCH_2 或者 deployment_type = PERSISTENT_1

storage_capacity可以是 1200 或 2400 的任意倍数。

storage_type = HDD

指定硬盘驱动器 (HDD) 存储类型。

storage_type = HDD更改其他设置的可能值。

drive_cache_type

可以指定此设置。

deployment_type

此设置必须设置为PERSISTENT_1

per_unit_storage_throughput

此项设置必须指定。可能的值为 12 或 40。

storage_capacity

此项设置必须指定。可能的值根据per_unit_storage_throughput设置不同而有所不同。

storage_capacity = 12

storage_capacity可以是 6000 的任意倍数。

storage_capacity = 40

storage_capacity可以是 1800 的任意倍数。

storage_type = SSD
注意

Amazon ParallelCluster版本 2.10.0 中添加了对该storage_type设置的Support。

更新策略:如果更改此设置,则不允许更新。

weekly_maintenance_start_time

(可选)指定执行每周维护的首选时间,采用 UTC 时区。这与WeeklyMaintenanceStartTime属性相对应。

格式为 [星期几]:[小时]:[分钟]。例如,星期一午夜如下所示。

weekly_maintenance_start_time = 1:00:00

更新策略:可以在更新期间更改此设置。