本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
Lustre 数据压缩
您可以使用 Lustre 数据压缩功能在 Lustre 文件系统和备份存储的高性能 Amazon FSx 上节省成本。启用数据压缩后,Amazon FSx for Lustre 会在新写入的文件写入磁盘之前自动压缩这些文件,并在读取时自动解压缩它们。
数据压缩使用 LZ4 算法,该算法经过优化,可在不影响文件系统性能的情况下提供高级别的压缩。LZ4 是一种 Lustre 社区信任且面向性能的算法,可在压缩速度和压缩文件大小之间实现平衡。
数据压缩减了在 Amazon FSx 之间传输的 Lustre 文件服务器和存储空间的数据量。如果您尚未使用压缩文件格式,则在使用数据压缩时,总体文件系统吞吐量将增加。在前端网络接口卡饱和之后,与数据压缩有关的吞吐量增加将受到上限。
例如,如果您的文件系统是 PERSISTENT-50 SSD 部署类型,则网络吞吐量的基准值为每 TiB 存储 250 MB/s。您的磁盘吞吐量基准为每 TiB 50 MB/s。通过数据压缩,磁盘吞吐量可以从每 TiB 50 MB/s 增加到每 TiB 最多 250 MB/s,这是基准网络吞吐量限制。有关网络和磁盘吞吐量限制的更多信息,请参阅中的文件系统性能表聚合文件系统性能.
管理数据压缩
在创建新的 Amazon FSx for Lustre 文件系统时,您可以打开或关闭数据压缩。从控制台创建 Amazon FSx for Lustre 文件系统时,默认情况下,数据压缩处于关闭状态,Amazon CLI,或者 API。
-
在打开 Amazon FSx 控制台https://console.aws.amazon.com/fsx/
. 按照中所述的创建新文件系统的过程进行操作第 1 步:为 Lustre 文件系统创建 Amazon FSx for Lustre 文件系统中的入门部分。
在文件系统细节部分,数据压缩类型,选择LZ4.
-
像创建新文件系统时一样完成向导。
-
选择 Review and create。
-
查看您为 Amazon FSx for Lustre 文件系统选择的设置,然后选择创建文件系统.
当文件系统是什么时候Available,数据压缩已开启。
要在启用数据压缩的情况下为 Lustre 文件系统创建 FSx,请使用 Amazon FSx CLI 命令
create-file-system
使用DataCompressionType
参数,如下所示。相应的 API 操作是CreateFileSystem.$
aws fsx create-file-system \ --client-request-token CRT1234 \ --file-system-type LUSTRE \ --file-system-type-version 2.12 \ --lustre-configuration DeploymentType=PERSISTENT_1,PerUnitStorageThroughput=50,DataCompressionType=LZ4 \ --storage-capacity 3600 \ --subnet-ids subnet-123456 \ --tags Key=Name,Value=Lustre-TEST-1 \ --region us-east-2
在成功创建文件系统后,Amazon FSx 以 JSON 形式返回文件系统描述,如以下示例所示。
{
"FileSystems": [
{
"OwnerId": "111122223333",
"CreationTime": 1549310341.483,
"FileSystemId": "fs-0123456789abcdef0",
"FileSystemType": "LUSTRE",
"FileSystemTypeVersion": "2.12",
"Lifecycle": "CREATING",
"StorageCapacity": 3600,
"VpcId": "vpc-123456",
"SubnetIds": [
"subnet-123456"
],
"NetworkInterfaceIds": [
"eni-039fcf55123456789"
],
"DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
"ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0",
"Tags": [
{
"Key": "Name",
"Value": "Lustre-TEST-1"
}
],
"LustreConfiguration": {
"DeploymentType": "PERSISTENT_1",
"DataCompressionType": "LZ4",
"PerUnitStorageThroughput": 50
}
}
]
}
还可以更改现有文件系统的数据压缩配置。当您为现有文件系统启用数据压缩时,只压缩新写的文件,不压缩现有文件。有关更多信息,请参阅 压缩之前写入的文件。
在打开 Amazon FSx 控制台https://console.aws.amazon.com/fsx/
. -
导航到文件系统,然后选择要管理数据压缩的 Lustre 文件系统。
-
适用于操作,选择更新数据压缩类型.
在存储库的更新数据压缩类型对话框中,选择LZ4打开数据压缩,或者选择无要关闭它。
选择 Update(更新)。
您可以在文件系统详细信息页面上监控更新进度更新选项卡。
要更新 Lustre 文件系统的现有 FSx 的数据压缩配置,请使用Amazon CLI命令更新文件系统. 设置以下参数:
-
Set
--file-system-id
转换到要更新的文件系统的 ID。 -
Set
--lustre-configuration DataCompressionType
到NONE
要关闭数据压缩或LZ4
使用 LZ4 算法启用数据压缩。
此命令指定使用 LZ4 算法启用数据压缩。
$ aws fsx update-file-system \ --file-system-id fs-0123456789abcdef0 \ --lustre-configuration DataCompressionType=LZ4
从备份创建文件系统时的数据压缩配置
您可以使用可用备份创建新的 Amazon FSx for Lustre 文件系统。当您从备份创建新的文件系统时,无需指定DataCompressionType
;该设置将使用备份的DataCompressionType
设置。如果你选择指定DataCompressionType
从备份创建时,该值必须与备份的DataCompressionType
设置。
要查看备份上的设置,请从备份亚马逊 FSx 控制台的选项卡。备份的详细信息将在摘要备份页面。您也可以运行describe-backups
Amazon CLI命令(等效的 API 操作是DescribeBackups
)。
压缩之前写入的文件
如果文件是在 Amazon fSx for Lustre 文件系统上关闭数据压缩时创建的,则文件将被解压缩。启用数据压缩不会自动压缩现有的未压缩数据。
您可以使用lfs_migrate
命令作为 Lustre 客户端安装的一部分安装来压缩现有文件。有关示例,请参阅 。FSXL 压缩
查看文件大小
您可以使用以下命令查看文件和目录的未压缩和压缩大小。
-
du
显示压缩的大小。 -
du --apparent-size
显示未压缩的大小。 -
ls -l
显示未压缩的大小。
以下示例显示了具有相同文件的每个命令的输出。
$
du -sh samplefile
272M samplefile$
du -sh --apparent-size samplefile
1.0G samplefile$
ls -lh samplefile
-rw-r--r-- 1 root root 1.0G May 10 21:16 samplefile
这些区域有:-h
选项对于这些命令很有用,因为它以人类可读的格式打印大小。
使用 CloudWatch 指标
你可以使用亚马逊 CloudWatch 记录指标以查看文件系统的使用情况。这些区域有:LogicalDiskUsage
指标显示逻辑磁盘的总使用情况(无压缩),以及PhysicalDiskUsage
指标显示物理磁盘的总使用量(压缩)。只有在文件系统启用了数据压缩或之前启用了数据压缩时,这两个指标才可用。
您可以通过将Sum
的LogicalDiskUsage
统计数据由Sum
的PhysicalDiskUsage
统计数据。有关使用指标数学计算此比率的信息,请参阅指标数学:数据压缩率.
有关监控文件系统性能的更多信息,请参阅监控 Amazon FSx for Lustre.