Lustre 数据压缩 - FSx for Lustre
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Lustre 数据压缩

您可以使用 Lustre 数据压缩功能在适用于 Lustre 文件系统和备份存储的高性能 Amazon FSx 上节省成本。启用数据压缩后,Amazon FSx for Lustre 会在新写入的文件写入磁盘之前自动对其进行压缩,并在读取文件时自动解压缩。

数据压缩使用 LZ4 算法,该算法经过优化,可在不对文件系统性能产生负面影响的情况下提供高水平的压缩。LZ4 是一种 Lustre 社区信任且以性能为导向的算法,它在压缩速度和压缩文件大小之间提供了平衡。启用数据压缩通常不会对延迟产生可衡量的影响。

数据压缩可减少在 Amazon FSx for Lustre 文件服务器和存储之间传输的数据量。如果您尚未使用压缩文件格式,则在使用数据压缩时,文件系统的总体吞吐量将增加。在您饱和前端网络接口卡后,与数据压缩相关的吞吐容量的增加将受到限制。

例如,如果您的文件系统是 PERSISTENT-50 固态硬盘部署类型,则网络吞吐量的基准为每 TiB 存储 250 MB/s。您的磁盘吞吐量基准为每 TiB 50 MB/s。通过数据压缩,您的磁盘吞吐量可以从每 TiB 50 MB/s 增加到每个 TiB 的最大 250 MB/s,这是基准网络吞吐量限制。有关网络和磁盘吞吐量限制的更多信息,请参阅中的文件系统性能表聚合文件系统性能。有关数据压缩性能的更多信息,请参阅Amazon存储博客上的 “使用 Amazon FSx for Lustre 数据压缩减少开支,同时提高性能” 一文

管理数据压缩

创建新的 Amazon FSffffffor Lustre 文件系统时,您可以打开或关闭数据压缩。当您通过控制台或 API 创建 Amazon FSx for Lustre 文件系统时,Amazon CLI默认情况下会关闭数据压缩。

  1. 通过 https://console.aws.amazon.com/fsx/ 打开亚马逊 FSx 主机。

  2. 按照 “入门” 部分步骤 1:创建您的 Amazon FSx for Lustre 文件系统中描述的创建新文件系统的过程进行操作。

  3. 在 “文件系统详细信息” 部分中,对于 “数据压缩类型”,选择 LZ4

  4. 像创建新文件系统一样完成向导。

  5. 选择 Review and create

  6. 查看您为 Amazon FSx for Lustre 文件系统选择的设置,然后选择 “创建文件系统”。

当文件系统为 “可用” 时,将开启数据压缩。

  • 要创建开启数据压缩的 FSx for Lustre 文件系统,请使用带有DataCompressionType参数的 Amazon FSx CLI 命令 create-file-system,如下所示。相应的 API 操作是CreateFileSystem

    $ aws fsx create-file-system \ --client-request-token CRT1234 \ --file-system-type LUSTRE \ --file-system-type-version 2.12 \ --lustre-configuration DeploymentType=PERSISTENT_1,PerUnitStorageThroughput=50,DataCompressionType=LZ4 \ --storage-capacity 3600 \ --subnet-ids subnet-123456 \ --tags Key=Name,Value=Lustre-TEST-1 \ --region us-east-2

成功创建文件系统后,Amazon FSx 以 JSON 形式返回文件系统描述,如以下示例所示。

{ "FileSystems": [ { "OwnerId": "111122223333", "CreationTime": 1549310341.483, "FileSystemId": "fs-0123456789abcdef0", "FileSystemType": "LUSTRE", "FileSystemTypeVersion": "2.12", "Lifecycle": "CREATING", "StorageCapacity": 3600, "VpcId": "vpc-123456", "SubnetIds": [ "subnet-123456" ], "NetworkInterfaceIds": [ "eni-039fcf55123456789" ], "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com", "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0", "Tags": [ { "Key": "Name", "Value": "Lustre-TEST-1" } ], "LustreConfiguration": { "DeploymentType": "PERSISTENT_1", "DataCompressionType": "LZ4", "PerUnitStorageThroughput": 50 } } ] }

您也可以更改现有文件系统的数据压缩配置。当您为现有文件系统开启数据压缩时,只压缩新写入的文件,而不会压缩现有文件。有关更多信息,请参阅 压缩以前写入的文件

  1. 通过 https://console.aws.amazon.com/fsx/ 打开亚马逊 FSx 主机。

  2. 导航到文件系统,然后选择要为其管理数据压缩的 Lustre 文件系统。

  3. 对于 “操作”,选择 “更新数据压缩类型”。

  4. 在 “更新数据压缩类型” 对话框中,选择 LZ4 以启用数据压缩,或选择 “” 将其关闭。

  5. 选择 Update(更新)。

  6. 您可以在 “更新” 选项卡的文件系统详细信息页面上监视更新进度。

要更新现有 FSx for Lustre 文件系统的数据压缩配置,请使用Amazon CLI命令update-file-system。设置以下参数:

  • 设置--file-system-id为您正在更新的文件系统的 ID。

  • 设置--lustre-configuration DataCompressionTypeNONE为关闭数据压缩或开启LZ4使用 LZ4 算法进行数据压缩。

此命令指定启用使用 LZ4 算法的数据压缩。

$ aws fsx update-file-system \ --file-system-id fs-0123456789abcdef0 \ --lustre-configuration DataCompressionType=LZ4

通过备份创建文件系统时的数据压缩配置

您可以使用可用备份创建新的 Amazon FSx for Lustre 文件系统。通过备份创建新的文件系统时,无需指定DataCompressionType;该设置将使用备份的DataCompressionType设置进行应用。如果在从备份中创建DataCompressionType时选择指定,则该值必须与备份的DataCompressionType设置相匹配。

要查看备份的设置,请从 Amazon FSx 控制台的 “备份” 选项卡中选择该备份。备份的详细信息将列在备份的 “摘要” 页面上。你也可以运行describe-backupsAmazon CLI命令(等效的 API 操作是 DescribeBackups)。

压缩以前写入的文件

如果文件是在 Amazon FSx for Lustre 文件系统上关闭数据压缩时创建的,则这些文件将被解压缩。开启数据压缩不会自动压缩现有的未压缩数据。

您可以使用作为 Lustre 客户端安装的一部分安装的lfs_migrate命令来压缩现有文件。有关示例,请参阅上提供的 FSXL 压缩 GitHub。

查看文件大小

您可以使用以下命令查看文件和目录的未压缩和压缩大小。

  • du显示压缩后的尺寸。

  • du --apparent-size显示未压缩的大小。

  • ls -l显示未压缩的大小。

以下示例显示了使用相同文件的每个命令的输出。

$ du -sh samplefile 272M samplefile $ du -sh --apparent-size samplefile 1.0G samplefile $ ls -lh samplefile -rw-r--r-- 1 root root 1.0G May 10 21:16 samplefile

-h选项对这些命令很有用,因为它以人类可读的格式打印大小。

使用 CloudWatch 指标

您可以使用 Amazon CloudWatch Logs 指标来查看您的文件系统使用情况。该LogicalDiskUsage指标显示逻辑磁盘的总使用量(不含压缩),该PhysicalDiskUsage指标显示物理磁盘的总使用量(含压缩率)。仅当您的文件系统启用了数据压缩或之前启用了数据压缩时,这两个指标才可用。

您可以通过将统计数据除以LogicalDiskUsage统计数据的压缩率来确定文件系统的压缩率。SumSumPhysicalDiskUsage有关使用指标数学计算此比率的信息,请参阅指标数学:数据压缩率

有关监控文件系统性能的更多信息,请参阅监控 Amazon FSx for Lustre