亚马逊 FSx 表现 Lustre 性能

Amazon FSx for Lustre 基于流行的高性能文件系统 Lustre 构建，可提供随文件系统大小线性增加的横向扩展性能。Lustre 文件系统可横向扩展多个文件服务器和磁盘。这种扩展允许每个客户机直接访问存储在每个磁盘上的数据，从而消除传统文件系统中存在的许多瓶颈。Amazon FSx for Lustre 建立在 Lustre 的可扩展架构之上，可为大量客户提供高水平的性能支持。

适用于 Lustre 文件系统的 FSx 是如何工作的

每个 FSx for Lustre 文件系统都由客户机与之通信的文件服务器以及连接到每个存储数据的文件服务器的一组磁盘组成。每台文件服务器都使用快速的内存缓存来增强最常访问的数据的性能。也可以为基于 HDD 的文件系统配置基于 SSD 的读取缓存，以进一步提高最常访问数据的性能。当客户端访问存储在内存缓存或 SSD 缓存中的数据时，文件服务器无需从磁盘读取数据，这样可以减少延迟并增加您可以驱动的总吞吐量。下图说明了写入操作、从磁盘提供的读取操作以及从内存或 SSD 缓存中提供的读取操作的路径。

当您读取存储在文件服务器的内存缓存或 SSD 缓存中的数据时，文件系统的性能取决于网络吞吐量。当您将数据写入文件系统或读取未存储在内存缓存中的数据时，文件系统的性能取决于网络吞吐量和磁盘吞吐量中较低的值。

当您为 HDD Lustre 文件系统配置固态硬盘缓存时，Amazon FSx 会创建一个自动调整为文件系统硬盘存储容量的 20% 的 SSD 缓存。这样做可以为经常访问的文件提供亚毫秒级的延迟和更高的 IOPS。

聚合文件系统性能

FSx for Lustre 文件系统支持的吞吐量与其存储容量成正比。适用于 Lustre 文件系统的 Amazon FSx 可扩展到数百 GBps 的吞吐量和数百万 IOPS。Amazon FSx for Lustre 还支持从数千个计算实例并行访问同一个文件或目录。这种访问可以实现从应用程序内存到存储器的快速数据检查点，这是高性能计算 (HPC) 中的常用技术。创建文件系统后，您可以随时根据需要增加存储量和吞吐容量。有关更多信息，请参阅管理存储和吞吐量容量：

FSx for Lustre 文件系统使用网络 I/O 积分机制提供突发读取吞吐量，根据平均带宽利用率分配网络带宽。当文件系统的网络带宽使用量低于其基准限制时，它们会累积积额度，并且可以在执行网络数据传输时使用这些积分。

下表显示了 FSx for Lustre 部署选项所针对的性能。

示例：聚合基准和突发吞吐量

以下示例说明了存储容量和磁盘吞吐量如何影响文件系统性能。

永久文件系统的存储容量为 4.8 TiB，每单位存储的吞吐量为 50 MB/s，其总基准磁盘吞吐量为 240 MB/s，突发磁盘吞吐量为 1.152 Gb/s。

无论文件系统大小如何，Amazon FSx for Lustre 都能为文件操作提供一致的亚毫秒级延迟。

文件系统存储布局

Lustre 中的所有文件数据都存储在名为的存储卷上对象存储目标(OST)。所有文件元数据（包括文件名、时间戳、权限等）都存储在名为的存储卷上元数据目标（MDT）。适用于 Lustre 文件系统的 Amazon FSx 由一个 MDT 和多个 OST 组成。每个 OST 的大小约为 1 到 2 TiB，具体取决于文件系统的部署类型。Amazon FSx for Lustre 将您的文件数据分散到构成文件系统的操作系统中，以平衡存储容量与吞吐量和 IOPS 负载。

要查看组成文件系统的 MDT 和 OST 的存储使用情况，请在装有文件系统的客户机上运行以下命令。

lfs df -h mount/path

此命令的输出如下所示。

UUID                             bytes       Used   Available Use% Mounted on
mountname-MDT0000_UUID           68.7G       5.4M       68.7G   0% /fsx[MDT:0]
mountname-OST0000_UUID            1.1T       4.5M        1.1T   0% /fsx[OST:0]
mountname-OST0001_UUID            1.1T       4.5M        1.1T   0% /fsx[OST:1]

filesystem_summary:               2.2T       9.0M        2.2T   0% /fsx

对文件系统中的数据进行条带化

您可以使用文件条带化来优化文件系统的吞吐量性能。Amazon FSx for Lustre 会自动将文件分散到各操作系统中，以确保所有存储服务器都能提供数据。您可以通过配置文件在多个 OST 之间进行条带化处理的方式在文件级别应用相同的概念。

条带化意味着可以将文件分成多个块，然后存储在不同的操作系统中。当文件跨多个 OST 进行条带化处理时，对该文件的读取或写入请求会分散到这些 OST 中，从而增加应用程序可以驱动的总吞吐量或 IOPS。

以下是适用于 Lustre 文件系统的亚马逊 FSx 的默认布局。

您可以使用查看文件或目录的布局配置lfs getstripe命令。

lfs getstripe path/to/filename

此命令报告文件的条带计数、条带大小和条带偏移量。的条纹计数是该文件被条带化的操作系统数量。的条纹大小是 OST 上存储的连续数据量。的条纹偏移是该文件被条带化的第一个 OST 的索引。

修改条带化配置

文件的布局参数是在首次创建文件时设置的。使用lfs setstripe命令以指定布局创建一个新的空文件。

lfs setstripe filename --stripe-count number_of_OSTs

的lfs setstripe命令仅影响新文件的布局。在创建文件之前，使用它来指定文件的布局。您也可以为目录定义布局。在目录上设置后，该布局将应用于添加到该目录的每个新文件，但不适用于现有文件。您创建的任何新子目录也会继承新的布局，然后将其应用于您在该子目录中创建的任何新文件或目录。

要修改现有文件的布局，请使用lfs migrate命令。此命令根据需要复制文件，以便根据您在命令中指定的布局分发其内容。例如，附加到或大小增加的文件不会更改条带数量，因此您必须迁移它们才能更改文件布局。或者，您可以使用创建新文件lfs setstripe命令指定其布局，将原始内容复制到新文件中，然后重命名新文件以替换原始文件。

在某些情况下，默认布局配置可能不适合您的工作负载。例如，具有数十个 OST 和大量数 GB 文件的文件系统如果将文件分成超过默认条带计数值（五个 OST），则性能可能会更高。创建条带数量较低的大文件可能会导致 I/O 性能瓶颈，还可能导致 OST 被填满。在这种情况下，您可以为这些文件创建一个条带数更大的目录。

为大型文件（尤其是大于 1 GB 的文件）设置条带布局非常重要，原因如下：

没有适用于所有用例的单一最佳布局配置。有关文件布局的详细指导，请参阅管理文件布局（条带化）和可用空间在 Lustre.org 文档中。以下是一般指导方针：

渐进式文件布局

您可以为目录指定渐进式文件布局 (PFL) 配置，以便在填充目录之前为小文件和大文件指定不同的条带配置。例如，在将任何数据写入新文件系统之前，可以在顶级目录上设置 PFL。

要指定 PFL 配置，请使用lfs setstripe命令用-E用于为不同大小的文件指定布局组件的选项，例如以下命令：

lfs setstripe -E 100M -c 1 -E 10G -c 8 -E 100G -c 16 -E -1 -c 32 /mountname/directory

此命令设置了四个布局组件：

Amazon FSx 上在 2023 年 8 月 25 日之后创建的 Lustre 文件系统的默认 PFL 配置是使用以下命令设置的：

lfs setstripe -E 100M -c 1 -E 10G -c 8 -E 100G -c 16 -E -1 -c 32 /mountname

如果客户的工作负载对中型和大型文件具有高度并发访问权限，则客户可能会受益于这样的布局：在较小的尺寸下使用更多的条带，而对于最大的文件，则跨所有操作系统划分条带，如四部分示例布局所示。

监控性能和使用情况

每分钟，Amazon FSx for Lustre 都会向亚马逊发布每个磁盘（MDT 和 OST）的使用率指标 CloudWatch。

要查看聚合文件系统使用情况的详细信息，可以查看每个指标的总和统计信息。例如，总和DataReadBytes统计数据报告文件系统中所有 OST 看到的总读取吞吐量。同样，总和FreeDataStorageCapacity统计数据报告文件系统中文件数据的总可用存储容量。

有关监控文件系统性能的更多信息，请参阅监控 Amazon FSx for Lustre。

性能小贴士

使用 Amazon FSx for Lustre 时，请记住以下性能提示。有关服务限制，请参阅配额。