Lustre 数据压缩 - FSx for Lustre
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Lustre 数据压缩

您可以使用 Lustre 数据压缩功能在 Lustre 文件系统和备份存储的高性能 Amazon FSx 上节省成本。启用数据压缩后,Amazon FSx for Lustre 会在新写入的文件写入磁盘之前自动压缩这些文件,并在读取时自动解压缩它们。

数据压缩使用 LZ4 算法,该算法经过优化,可在不影响文件系统性能的情况下提供高级别的压缩。LZ4 是一种 Lustre 社区信任且面向性能的算法,可在压缩速度和压缩文件大小之间实现平衡。

数据压缩减了在 Amazon FSx 之间传输的 Lustre 文件服务器和存储空间的数据量。如果您尚未使用压缩文件格式,则在使用数据压缩时,总体文件系统吞吐量将增加。在前端网络接口卡饱和之后,与数据压缩有关的吞吐量增加将受到上限。

例如,如果您的文件系统是 PERSISTENT-50 SSD 部署类型,则网络吞吐量的基准值为每 TiB 存储 250 MB/s。您的磁盘吞吐量基准为每 TiB 50 MB/s。通过数据压缩,磁盘吞吐量可以从每 TiB 50 MB/s 增加到每 TiB 最多 250 MB/s,这是基准网络吞吐量限制。有关网络和磁盘吞吐量限制的更多信息,请参阅中的文件系统性能表聚合文件系统性能.

管理数据压缩

在创建新的 Amazon FSx for Lustre 文件系统时,您可以打开或关闭数据压缩。从控制台创建 Amazon FSx for Lustre 文件系统时,默认情况下,数据压缩处于关闭状态,Amazon CLI,或者 API。

  1. 在打开 Amazon FSx 控制台https://console.aws.amazon.com/fsx/.

  2. 按照中所述的创建新文件系统的过程进行操作第 1 步:为 Lustre 文件系统创建 Amazon FSx for Lustre 文件系统中的入门部分。

  3. 文件系统细节部分,数据压缩类型,选择LZ4.

  4. 像创建新文件系统时一样完成向导。

  5. 选择 Review and create

  6. 查看您为 Amazon FSx for Lustre 文件系统选择的设置,然后选择创建文件系统.

当文件系统是什么时候Available,数据压缩已开启。

  • 要在启用数据压缩的情况下为 Lustre 文件系统创建 FSx,请使用 Amazon FSx CLI 命令create-file-system使用DataCompressionType参数,如下所示。相应的 API 操作是CreateFileSystem.

    $ aws fsx create-file-system \ --client-request-token CRT1234 \ --file-system-type LUSTRE \ --file-system-type-version 2.12 \ --lustre-configuration DeploymentType=PERSISTENT_1,PerUnitStorageThroughput=50,DataCompressionType=LZ4 \ --storage-capacity 3600 \ --subnet-ids subnet-123456 \ --tags Key=Name,Value=Lustre-TEST-1 \ --region us-east-2

在成功创建文件系统后,Amazon FSx 以 JSON 形式返回文件系统描述,如以下示例所示。

{ "FileSystems": [ { "OwnerId": "111122223333", "CreationTime": 1549310341.483, "FileSystemId": "fs-0123456789abcdef0", "FileSystemType": "LUSTRE", "FileSystemTypeVersion": "2.12", "Lifecycle": "CREATING", "StorageCapacity": 3600, "VpcId": "vpc-123456", "SubnetIds": [ "subnet-123456" ], "NetworkInterfaceIds": [ "eni-039fcf55123456789" ], "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com", "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0", "Tags": [ { "Key": "Name", "Value": "Lustre-TEST-1" } ], "LustreConfiguration": { "DeploymentType": "PERSISTENT_1", "DataCompressionType": "LZ4", "PerUnitStorageThroughput": 50 } } ] }

还可以更改现有文件系统的数据压缩配置。当您为现有文件系统启用数据压缩时,只压缩新写的文件,不压缩现有文件。有关更多信息,请参阅 压缩之前写入的文件

  1. 在打开 Amazon FSx 控制台https://console.aws.amazon.com/fsx/.

  2. 导航到文件系统,然后选择要管理数据压缩的 Lustre 文件系统。

  3. 适用于操作,选择更新数据压缩类型.

  4. 在存储库的更新数据压缩类型对话框中,选择LZ4打开数据压缩,或者选择要关闭它。

  5. 选择 Update(更新)。

  6. 您可以在文件系统详细信息页面上监控更新进度更新选项卡。

要更新 Lustre 文件系统的现有 FSx 的数据压缩配置,请使用Amazon CLI命令更新文件系统. 设置以下参数:

  • Set--file-system-id转换到要更新的文件系统的 ID。

  • Set--lustre-configuration DataCompressionTypeNONE要关闭数据压缩或LZ4使用 LZ4 算法启用数据压缩。

此命令指定使用 LZ4 算法启用数据压缩。

$ aws fsx update-file-system \ --file-system-id fs-0123456789abcdef0 \ --lustre-configuration DataCompressionType=LZ4

从备份创建文件系统时的数据压缩配置

您可以使用可用备份创建新的 Amazon FSx for Lustre 文件系统。当您从备份创建新的文件系统时,无需指定DataCompressionType;该设置将使用备份的DataCompressionType设置。如果你选择指定DataCompressionType从备份创建时,该值必须与备份的DataCompressionType设置。

要查看备份上的设置,请从备份亚马逊 FSx 控制台的选项卡。备份的详细信息将在摘要备份页面。您也可以运行describe-backups Amazon CLI命令(等效的 API 操作是DescribeBackups)。

压缩之前写入的文件

如果文件是在 Amazon fSx for Lustre 文件系统上关闭数据压缩时创建的,则文件将被解压缩。启用数据压缩不会自动压缩现有的未压缩数据。

您可以使用lfs_migrate命令作为 Lustre 客户端安装的一部分安装来压缩现有文件。有关示例,请参阅 。FSXL 压缩该功能在 GitHub 上提供。

查看文件大小

您可以使用以下命令查看文件和目录的未压缩和压缩大小。

  • du显示压缩的大小。

  • du --apparent-size显示未压缩的大小。

  • ls -l显示未压缩的大小。

以下示例显示了具有相同文件的每个命令的输出。

$ du -sh samplefile 272M samplefile $ du -sh --apparent-size samplefile 1.0G samplefile $ ls -lh samplefile -rw-r--r-- 1 root root 1.0G May 10 21:16 samplefile

这些区域有:-h选项对于这些命令很有用,因为它以人类可读的格式打印大小。

使用 CloudWatch 指标

你可以使用亚马逊 CloudWatch 记录指标以查看文件系统的使用情况。这些区域有:LogicalDiskUsage指标显示逻辑磁盘的总使用情况(无压缩),以及PhysicalDiskUsage指标显示物理磁盘的总使用量(压缩)。只有在文件系统启用了数据压缩或之前启用了数据压缩时,这两个指标才可用。

您可以通过将SumLogicalDiskUsage统计数据由SumPhysicalDiskUsage统计数据。有关使用指标数学计算此比率的信息,请参阅指标数学:数据压缩率.

有关监控文件系统性能的更多信息,请参阅监控 Amazon FSx for Lustre.