本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
[fsx]
部分
主题
- auto_import_policy
- automatic_backup_retention_days
- copy_tags_to_backups
- daily_automatic_backup_start_time
- data_compression_type
- deployment_type
- drive_cache_type
- export_path
- fsx_backup_id
- fsx_fs_id
- fsx_kms_key_id
- import_path
- imported_file_chunk_size
- per_unit_storage_throughput
- shared_dir
- storage_capacity
- storage_type
- weekly_maintenance_start_time
定义 Lustre 文件系统的附加 FSx 的配置设置。有关 FSx for Lustre 的更多信息,请参阅Amazon FSx ReCreateFileSystem.
如果base_os是alinux2
、centos7
、ubuntu1804
,或者ubuntu2004
.
当使用亚马逊 Linux 时,内核必须 >=4.14.104-78.84.amzn1.x86_64
. 有关详细说明,请参阅安装 Lustre 客户端中的Amazon FSx for Lustre.
当前使用时不支持 FSx for Lustreawsbatch
作为调度程序。
Support FSx for Lustrecentos8
已在中删除Amazon ParallelCluster版本 2.10.4。Support FSx for Lustreubuntu2004
增加了Amazon ParallelCluster版本 2.11.0。Support FSx for Lustrecentos8
增加了Amazon ParallelCluster版本 2.10.0。Support FSx for Lustrealinux2
、ubuntu1604
, 和ubuntu1804
增加了Amazon ParallelCluster版本 2.6.0。Support FSx for Lustrecentos7
增加了Amazon ParallelCluster版本 2.4.0。
如果使用现有文件系统,则必须将其关联到一个安全组,该安全组允许到端口 988
的入站 TCP 流量。将来源设置为0.0.0.0/0
在安全组规则上,可以从 VPC 安全组中所有 IP 范围的客户端访问该规则的协议和端口范围。要进一步限制对文件系统的访问,我们建议您对安全组规则使用更具限制性的源。例如,您可以使用更具体的 CIDR 范围、IP 地址或安全组 ID。在未使用 vpc_security_group_id 时,将自动执行此操作。
要使用现有 Amazon FSx 文件系统,请指定fsx_fs_id.
格式为[fsx
.fsx-name
]fsx-name
必须以字母开头,包含不超过 30 个字符,并且只包含字母、数字、连字符 (-) 和下划线 (_)。
[fsx fs] shared_dir = /fsx fsx_fs_id =
fs-073c3803dca3e28a6
要创建并配置新的文件系统,请使用以下参数:
[fsx fs] shared_dir = /fsx storage_capacity = 3600 imported_file_chunk_size = 1024 export_path = s3://
bucket/folder
import_path = s3://bucket
weekly_maintenance_start_time = 1:00:00
auto_import_policy
(可选)指定自动导入策略,用于反映用于为 Lustre 文件系统创建 FSx 的 S3 存储桶中的更改。可能的值包括:
NEW
-
FSx for Lustre 会自动导入添加到链接 S3 存储桶中但当前不存在于 Lustre 文件系统 FSx 中的任何新对象的目录列表。
NEW_CHANGED
-
FSx for Lustre 会自动导入添加到 S3 存储桶的任何新对象的文件和目录列表,以及 S3 存储桶中更改的任何现有对象。
这对应于AutoImportPolicy财产。有关更多信息,请参阅 。从 S3 存储桶自动导入更新。中的Amazon FSx for Lustre当您时auto_import_policy已指定参数,automatic_backup_retention_days、copy_tags_to_backups、daily_automatic_backup_start_time, 和fsx_backup_id不能指定参数。
如果auto_import_policy
未指定设置,自动导入将被禁用。在创建文件系统时,FSx for Lustre 仅更新链接 S3 存储桶中的文件和目录列表。
auto_import_policy = NEW_CHANGED
对该项的支持auto_import_policy增加了Amazon ParallelCluster版本 2.10.0。
automatic_backup_retention_days
(可选)指定保留自动备份的天数。这仅适用于PERSISTENT_1
部署类型。当您时automatic_backup_retention_days已指定参数,auto_import_policy、export_path、import_path, 和imported_file_chunk_size不能指定参数。这对应于AutomaticBackupRetentionDays财产。
默认值是 0。此设置禁用自动备份。可能的值是介于 0 到 35 之间的整数,包括在内。
automatic_backup_retention_days = 35
对该项的支持automatic_backup_retention_days增加了Amazon ParallelCluster版本 2.8.0。
copy_tags_to_backups
(可选)指定是否将文件系统的标签复制到备份中。这仅适用于PERSISTENT_1
部署类型。当您时copy_tags_to_backups已指定参数,automatic_backup_retention_days必须指定一个大于 0 的值,并且auto_import_policy、export_path、import_path, 和imported_file_chunk_size不能指定参数。这对应于CopyTagsToBackups财产。
默认值为 false
。
copy_tags_to_backups = true
对该项的支持copy_tags_to_backups增加了Amazon ParallelCluster版本 2.8.0。
daily_automatic_backup_start_time
(可选)指定开始自动备份的一天中的时间 (UTC)。这仅适用于PERSISTENT_1
部署类型。当您时daily_automatic_backup_start_time已指定参数,automatic_backup_retention_days必须指定一个大于 0 的值,并且auto_import_policy、export_path、import_path, 和imported_file_chunk_size不能指定参数。这对应于DailyAutomaticBackupStartTime财产。
格式为HH:MM
其中,HH
是一天中的零填充小时 (0-23),以及MM
是一小时中的零填充分钟。例如,世界标准时间凌晨 1:03 将是:
daily_automatic_backup_start_time = 01:03
默认值为之间的随机时间00:00
和23:59
.
对该项的支持daily_automatic_backup_start_time增加了Amazon ParallelCluster版本 2.8.0。
data_compression_type
(可选)为 Lustre 数据压缩类型指定 FSx。这对应于数据压缩类型财产。有关更多信息,请参阅 。FSx for Lustre 数据压缩中的Amazon FSx for Lustre.
唯一有效值为 LZ4
。要禁用数据压缩,请删除data_compression_type
参数。
data_compression_type = LZ4
对该项的支持data_compression_type增加了Amazon ParallelCluster版本 2.11.0。
deployment_type
(可选)为 Lustre 部署类型指定 FSx。这对应于DeploymentType财产。有关更多信息,请参阅 。FSx for Lustre 部署选项中的Amazon FSx for Lustre. 选择临时存储和短期处理数据的临时部署类型。SCRATCH_2
是最新一代的暂存文件系统。与基准吞吐量和传输中数据加密相比,它提供了更高的突发吞吐量。
有效值为 SCRATCH_1
、SCRATCH_2
和 PERSISTENT_1
。
SCRATCH_1
-
FSx for Lustre 的默认部署类型。对于此部署类型,storage_capacity 设置的可能值为 1200 和 2400,以及 3600 的任何倍数。对该项的支持
SCRATCH_1
增加了Amazon ParallelCluster版本 2.4.0。 SCRATCH_2
-
最新一代的暂存文件系统。它支持高达峰值工作负载的基准吞吐量的六倍。它还支持对受支持区域中受支持的实例类型的数据进行传输中加密。有关更多信息,请参阅 。加密传输中的数据中的Amazon FSx for Lustre. 对于此部署类型,storage_capacity 设置的可能值为 1200,以及 2400 的任何倍数。对该项的支持
SCRATCH_2
增加了Amazon ParallelCluster版本 2.6.0。 PERSISTENT_1
-
专为长期存储而设计。文件服务器具有高可用性,数据将在文件系统内复制。Amazon可用区,它支持对受支持的实例类型的数据进行传输中加密。对于此部署类型,storage_capacity 设置的可能值为 1200,以及 2400 的任何倍数。对该项的支持
PERSISTENT_1
增加了Amazon ParallelCluster版本 2.6.0。
默认值为 SCRATCH_1
。
deployment_type = SCRATCH_2
对该项的支持deployment_type增加了Amazon ParallelCluster版本 2.6.0。
drive_cache_type
(可选)指定文件系统具有 SSD 驱动器缓存。只有在storage_type设置已设置为HDD
. 这对应于DriveCacheType财产。有关更多信息,请参阅 。FSx for Lustre 部署选项中的Amazon FSx for Lustre.
唯一有效值为 READ
。要禁用 SSD 驱动器缓存,请勿指定drive_cache_type
设置设置。
drive_cache_type = READ
对该项的支持drive_cache_type增加了Amazon ParallelCluster版本 2.10.0。
export_path
(可选)指定在其中导出文件系统的根的 Amazon S3 路径。当您时export_path已指定参数,automatic_backup_retention_days、copy_tags_to_backups、daily_automatic_backup_start_time, 和fsx_backup_id不能指定参数。这对应于ExportPath财产。文件数据和元数据不会自动导出到export_path
. 有关导出数据和元数据的信息,请参阅使用数据存储库任务导出数据和元数据更改中的Amazon FSx for Lustre.
默认值为 s3://
,其中 import-bucket
/FSxLustre[creation-timestamp]
是 import_path 参数中提供的存储桶。import-bucket
export_path = s3://
bucket/folder
fsx_backup_id
(可选)指定从现有备份还原文件系统的备份 ID。当您时fsx_backup_id已指定参数,auto_import_policy、deployment_type、export_path、fsx_kms_key_id、import_path、imported_file_chunk_size、storage_capacity, 和per_unit_storage_throughput不能指定参数。从备份中读取这些参数。此外,auto_import_policy、export_path、import_path, 和imported_file_chunk_size不能指定参数。
这对应于BackupId财产。
fsx_backup_id = backup-fedcba98
对该项的支持fsx_backup_id增加了Amazon ParallelCluster版本 2.8.0。
fsx_fs_id
(可选)附加一个现有 FSx for Lustre 文件系统。
如果指定了此选项,则只有shared_dir和fsx_fs_id中的设置[fsx]部分已使用以及[fsx]部分忽略了。
fsx_fs_id = fs-073c3803dca3e28a6
fsx_kms_key_id
(可选)指定您的 Amazon Key Management Service (Amazon KMS) 客户托管密钥的密钥 ID。
此密钥用于加密文件系统中的静态数据。
它必须与自定义 ec2_iam_role 结合使用。有关更多信息,请参阅 使用自定义 KMS 密钥加密磁盘。这对应于KmsKeyId中的参数Amazon FSx API 参考.
fsx_kms_key_id =
xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
对该项的支持fsx_kms_key_id增加了Amazon ParallelCluster版本 2.6.0。
import_path
(可选)指定将其中的数据加载到文件系统并作为导出存储桶的 S3 存储桶。有关更多信息,请参阅 export_path。如果你指定import_path参数,automatic_backup_retention_days、copy_tags_to_backups、daily_automatic_backup_start_time, 和fsx_backup_id不能指定参数。这对应于ImportPath中的参数Amazon FSx API 参考.
导入在创建集群时发生。有关更多信息,请参阅 。从数据存储库导入数据中的Amazon FSx for Lustre. 导入时,只导入文件元数据(名称、所有权、时间戳和权限)。在首次访问文件之前,文件数据不会从 S3 存储桶中导入。有关预加载文件内容的详细信息,请参阅将文件预加载到文件系统中的Amazon FSx for Lustre.
如果未提供值,则该文件系统为空。
import_path = s3://
bucket
imported_file_chunk_size
(可选)对于从数据存储库导入的文件(使用),此参数决定单个物理磁盘上存储的每个文件的条带计数和最大数据量(以 MiB 为单位)。import_path)。可以对单个文件进行条带化的最大磁盘数受构成文件系统的总磁盘数限制。当您时imported_file_chunk_size已指定参数,automatic_backup_retention_days、copy_tags_to_backups、daily_automatic_backup_start_time, 和fsx_backup_id不能指定参数。这对应于ImportedFileChunkSize财产。
区块大小默认为1024
(1 GiB),最大值能够达到 522000 MiB (500 GiB)。Amazon S3 数据元的最大大小为 5 TB。
imported_file_chunk_size = 1024
per_unit_storage_throughput
(PERSISTENT_1
部署类型所必需) 对于 deployment_type = PERSISTENT_1
部署类型,描述每 1 TiB 存储的读取和写入吞吐量(以 MB/s/TiB 为单位)。文件系统吞吐量是将通过文件系统存储容量 (TiB) 乘以 per_unit_storage_throughput (MB/s/TiB) 计算得出的。对于 2.4 TiB 文件系统,预配置 50 MB/s/TiB 的 per_unit_storage_throughput 将得到 120 MB/s 的文件系统吞吐量。您需要为预配置的吞吐量付费。这对应于PerUnitStorageThroughput财产。
可能的值取决于的值。storage_type设置设置。
storage_type = SSD
-
可能的值为 50、100、200。
storage_type = HDD
-
可能的值为 12,40。
per_unit_storage_throughput = 200
对该项的支持per_unit_storage_throughput增加了Amazon ParallelCluster版本 2.6.0。
shared_dir
(必需)在头部和计算节点上定义 FSx for Lustre 文件系统的挂载点。
请勿使用NONE
要么/NONE
作为共享目录。
以下示例在 /fsx
上挂载文件系统。
shared_dir = /fsx
storage_capacity
(必需)指定文件系统的存储容量(以 GiB 为单位)。这对应于StorageCapacity财产。
存储容量可以使用的值因 deployment_type 设置而异。
SCRATCH_1
-
可能的值是 1200 和 2400,以及 3600 的任何倍数。
SCRATCH_2
-
可能的值是 1200,以及 2400 的任何倍数。
PERSISTENT_1
-
可能的值因其他设置的值而异。
storage_type = SSD
-
可能的值是 1200,以及 2400 的任何倍数。
storage_type = HDD
-
可能的值因设置而异。per_unit_storage_throughput设置设置。
per_unit_storage_throughput = 12
-
可能的值为 6000 的任何倍数。
per_unit_storage_throughput = 40
-
可能的值为 1800 的任何倍数。
storage_capacity = 7200
适用于Amazon ParallelCluster版本 2.5.0 和 2.5.1storage_capacity支持 1200、2400 的可能值以及 3600 的任何倍数。对于早于Amazon ParallelCluster版本 2.5.0storage_capacity其尺寸至少为 3600。
storage_type
(可选)指定文件系统的存储类型。这对应于StorageType财产。可能的值为 SSD
和 HDD
。默认为 SSD
。
存储类型会更改其他设置的可能值。
storage_type = SSD
-
指定固态硬盘 (SSD) 存储类型。
storage_type = SSD
更改其他几个设置的可能值。- drive_cache_type
-
此设置则无法指定。
- deployment_type
-
此设置可设置为
SCRATCH_1
、SCRATCH_2
,或者PERSISTENT_1
. - per_unit_storage_throughput
-
必须指定此设置:deployment_type设置为
PERSISTENT_1
. 可能的值为 50、100 或 200。 - storage_capacity
-
必须指定此设置。可能的值因此而有所不同deployment_type.
deployment_type = SCRATCH_1
-
storage_capacity可以是 1200、2400 或 3600 的任何倍数。
deployment_type = SCRATCH_2
或者deployment_type = PERSISTENT_1
-
storage_capacity可以是 1200 或 2400 的任何倍数。
storage_type = HDD
-
指定硬盘驱动器 (HDD) 存储类型。
storage_type = HDD
更改其他设置的可能值。- drive_cache_type
-
可以指定此设置。
- deployment_type
-
必须将此设置设置为
PERSISTENT_1
. - per_unit_storage_throughput
-
必须指定此设置。可能的值为 12 或 40。
- storage_capacity
-
必须指定此设置。可能的值因per_unit_storage_throughput设置设置。
storage_capacity = 12
-
storage_capacity可以是 6000 的任意倍数。
storage_capacity = 40
-
storage_capacity可以是 1800 的任意倍数。
storage_type = SSD
Supportstorage_type
已在中添加了设置Amazon ParallelCluster版本 2.10.0。
weekly_maintenance_start_time
(可选)指定执行每周维护的首选时间,采用 UTC 时区。这对应于WeeklyMaintenanceStartTime财产。
格式为 [星期几]:[小时]:[分钟]。例如,周一的午夜是:
weekly_maintenance_start_time = 1:00:00