光泽数据压缩 - Amazon FSx for Lustre
管理数据压缩压缩以前写入的文件查看文件大小使用 CloudWatch 指标
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅中国的 Amazon Web Services 服务入门。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

光泽数据压缩

您可以使用 Lustre 数据压缩功能来节省用于 Lustre 文件系统和备份存储的高性能 Amazon FSX 的成本。启用数据压缩后，Amazon FSX to Lustre 会在新写入的文件写入磁盘之前自动压缩这些文件，并在读取文件时自动解压缩文件。

数据压缩使用 LZ4 算法，该算法经过优化，可提供高级别的压缩，而不会对文件系统性能产生负面影响。LZ4 是 Lustre 社区信任且面向性能的算法，可在压缩速度和压缩文件大小之间实现平衡。

数据压缩可减少 Amazon FSX 之间为 Lustre 文件服务器和存储传输的数据量。如果您尚未使用压缩文件格式，则在使用数据压缩时，文件系统的总吞吐量将会增加。在前端网络接口卡饱和后，与数据压缩相关的吞吐量增加将受到限制。

例如，如果您的文件系统是 PERSISTENT-50 SSD 部署类型，则您的网络吞吐量的基准为每 TiB 存储 250 MB/s。您的磁盘吞吐量的基准为每 TiB 50 MB/s。通过数据压缩，磁盘吞吐量可以从每 TiB 50 MB/s 增加到每 TiB 最多 250 MB/s，这是基准网络吞吐量限制。有关网络和磁盘吞吐量限制的详细信息，请参阅聚合文件系统性能.

管理数据压缩

在创建新的 Amazon FSx for Lustre 文件系统时，您可以开启或关闭数据压缩。在您从控制台创建 Amazon FSx of Lustre 文件系统时，默认情况下，数据压缩处于关闭状态，Amazon CLI或 API。

  1. 从打开 Amazon FSx 控制台https://console.aws.amazon.com/fsx/.

  2. 按照创建新文件系统的过程，请参阅第 1 步：为 Lustre 创建您的 Amazon FSx for Amazon FSx for Amazon 文件系统中的入门部分。

  3. 在文件系统详细信息部分, 用于数据压缩类型中，选择LZ4.

  4. 如同创建新文件系统时一样完成向导。

  5. 选择 Review and create。

  6. 查看您为 Lustre 文件系统的 Amazon FSX 选择的设置，然后选择创建文件系统.

当文件系统处于Available时，数据压缩已开启。

  • 要在开启数据压缩的情况下创建 Amazon FSx of Lustre 文件系统，请使用 Amazon FSx CLI 命令create-file-system与DataCompressionType参数，如下所示。相应的 API 操作是CreateFileSystem. 

    $ aws fsx create-file-system \
      --client-request-token CRT1234 \
      --file-system-type LUSTRE \
      --lustre-configuration DeploymentType=PERSISTENT_1,PerUnitStorageThroughput=50,DataCompressionType=LZ4 \
      --storage-capacity 3600 \
      --subnet-ids subnet-123456 \
      --tags Key=Name,Value=Lustre-TEST-1 \
      --region us-east-2

在成功创建文件系统后，Amazon FSx 以 JSON 形式返回文件系统描述，如以下示例所示。

{

    "FileSystems": [
        {
            "OwnerId": "111122223333",
            "CreationTime": 1549310341.483,
            "FileSystemId": "fs-0123456789abcdef0",
            "FileSystemType": "LUSTRE",
            "Lifecycle": "CREATING",
            "StorageCapacity": 3600,
            "VpcId": "vpc-123456",
            "SubnetIds": [
                "subnet-123456"
            ],
            "NetworkInterfaceIds": [
                "eni-039fcf55123456789"
            ],
            "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
            "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0",
            "Tags": [
                {
                    "Key": "Name",
                    "Value": "Lustre-TEST-1"
                }
            ],
            "LustreConfiguration": {
                "DeploymentType": "PERSISTENT_1",
                "DataCompressionType": "LZ4"
                "PerUnitStorageThroughput": 50
            }
        }
    ]
}

您还可以更改现有文件系统的数据压缩配置。为现有文件系统启用数据压缩时，只有新写入的文件才会压缩，现有文件不会被压缩。有关更多信息，请参阅 压缩以前写入的文件。

  1. 从打开 Amazon FSx 控制台https://console.aws.amazon.com/fsx/.

  2. 导航到文件系统，然后选择要管理其数据压缩的 Lustre 文件系统。

  3. 适用于操作中，选择更新数据压缩类型.

  4. 在存储库的更新数据压缩类型对话框中，选择LZ4以启用数据压缩功能，或选择无以关闭它。

  5. 选择 Update。

  6. 您可以在文件系统详细信息页面上监视更新进度更新选项卡。

要更新现有 Amazon FSx of Lustre 文件系统的数据压缩配置，请使用Amazon CLI命令更新文件系统. 设置以下参数：

  • Set--file-system-id添加到要更新的文件系统的 ID。

  • Set--lustre-configuration DataCompressionType到NONE以关闭数据压缩或LZ4以启用 LZ4 算法的数据压缩功能。

此命令指定使用 LZ4 算法启用数据压缩。

$ aws fsx update-file-system \
    --file-system-id fs-0123456789abcdef0 \
    --lustre-configuration DataCompressionType=LZ4

通过备份创建文件系统时的数据压缩配置

您可以使用可用备份创建新的 Amazon FSx for Lustre 文件系统。通过备份创建新文件系统时，无需指定DataCompressionType；该设置将使用备份的DataCompressionType设置设置。如果您选择指定DataCompressionType从备份创建时，该值必须与备份的DataCompressionType设置设置。

要查看备份的设置，请从备份选 FSx。备份的详细信息将列在摘要页面进行备份。您还可在其他实例上运行describe-backups Amazon CLI命令（等效的 API 操作是DescribeBackups)。

压缩以前写入的文件

如果文件是在 Amazon FSX 适用于 Lustre 文件系统上关闭数据压缩时创建的，则文件将被解压缩。启用数据压缩不会自动压缩现有未压缩数据。

您可以使用lfs_migrate命令，该命令作为 Lustre 客户端安装的一部分来压缩现有文件。请参阅https://github.com/aws-samples/fsx-solutions/blob/master/FSxL-Compression作为示例。

查看文件大小

您可以使用以下命令查看文件和目录的未压缩和压缩大小。

  • du显示压缩的大小。

  • du --apparent-size显示未压缩的大小。

  • ls -l显示未压缩的大小。

以下示例显示每个命令具有相同文件的输出。

$ du -sh samplefile
272M	samplefile
$ du -sh --apparent-size samplefile
1.0G	samplefile
$ ls -lh samplefile
-rw-r--r-- 1 root root 1.0G May 10 21:16 samplefile

这些区域有：-h选项对于这些命令很有用，因为它以人类可读的格式输出大小。

使用 CloudWatch 指标

您可以使用 Amazon CloudWatch Logs 指标查看您的文件系统使用情况。这些区域有：LogicalDiskUsage度量显示逻辑磁盘的总使用率（无压缩），PhysicalDiskUsage衡量指标显示了物理磁盘的总使用率（带压缩）。仅当您的文件系统启用了数据压缩或之前启用了数据压缩功能时，这两个指标才可用。

您可以确定文件系统的压缩率，方法是将Sum的LogicalDiskUsage统计数据由Sum的PhysicalDiskUsage统计数据。有关使用度量数学计算此比率的信息，请参阅指标数学：数据压缩率 .

有关监控文件系统性能的更多信息，请参阅监控 Amazon FSx for Lustre.