Amazon FSx for Lustre 性能

Amazon FSx for Lustre 基于流行的高性能文件系统 Lustre 构建，可提供随文件系统大小线性增加的横向扩展性能。Lustre 文件系统横向扩展多个文件服务器和磁盘。这种扩展使每个客户端可以直接访问存储在每个磁盘上的数据，以消除传统文件系统中存在的许多瓶颈。Amazon FSx for Lustre 基于 Lustre 的可扩展架构构建，以支持大量客户端的高水平性能。

Lustre 文件系统的 FSx 如何工作

每个 FSx for Lustre 文件系统包括客户端与之通信的文件服务器以及连接到存储数据的每个文件服务器的一组磁盘。每个文件服务器都使用快速的内存缓存来提高最频繁访问的数据的性能。还可以使用基于 SSD 的读缓存来配置基于 HDD 的文件系统，以进一步提高最常访问的数据的性能。当客户端访问存储在内存中或 SSD 缓存中的数据时，文件服务器无需从磁盘读取数据，这样可以减少延迟并增加可以驱动的总吞吐量。下图说明了写入操作、从磁盘提供的读取操作以及从内存中或 SSD 缓存提供的读操作的路径。

读取存储在文件服务器内存中或 SSD 缓存中的数据时，文件系统的性能取决于网络吞吐量。当您将数据写入文件系统时，或者读取未存储在内存中缓存中的数据时，文件系统的性能取决于网络吞吐量和磁盘吞吐量的较低。

当您配置带有 SSD 缓存的 HDD Lustre 文件系统时，Amazon FSx 会创建一个固态硬盘缓存，该缓存会自动调整到文件系统 HDD 存储容量的 20％。这样做可以为经常访问的文件提供亚毫秒级的延迟和更高的 IOPS。

聚合文件系统性能

Lustre 文件系统的 FSx 支持的吞吐量与其存储容量成正比。适用于 Lustre 文件系统的 Amazon FSx 可扩展到数百 GBP 的吞吐量和数百万 IOPS。Amazon FSx for Lustre 还支持从数千个计算实例中并发访问同一个文件或目录。这种访问能够从应用程序内存到存储的快速数据检查点，这是高性能计算 (HPC) 中的常见技术。创建文件系统后，您可以随时根据需要增加存储量和吞吐量容量。有关更多信息，请参阅 管理存储和吞吐量容量。

FSx for Lustre 文件系统使用一种网络 I/O 积分机制，根据平均带宽使用率分配网络带宽，提供突发读取吞吐量。文件系统在其网络带宽使用率低于其基准限制时会积累积分，并能够在执行网络数据传输时使用这些积分。

下表显示了 FSx for Lustre 部署选项的性能。

例如：汇总基准量和突增吞吐量

以下示例说明存储容量和磁盘吞吐量如何影响文件系统性能。

持久性文件系统的存储容量为 4.8 TiB 和每 TiB 吞吐量 50 MB/s，可提供 240 MB/s 的总基准磁盘吞吐量，突发磁盘吞吐量为 1.152 Gb/s。

无论文件系统大小如何，Amazon FSx for Lustre 都能为文件操作提供一致的亚毫秒级延迟。

文件系统存储布局

Lustre 中的所有文件数据都存储在名为对象存储目标（OST）。所有文件元数据（包括文件名、时间戳、权限等）都存储在名为元数据目标(MDT)。Amazon FSx for Lustre 文件系统由一个 MDT 和多个 OST 组成。每个 OST 的大小约为 1 到 2 TiB，具体取决于文件系统的部署类型。Amazon FSx for Lustre 将您的文件数据分布到构成文件系统的 OST 之间，以平衡存储容量与吞吐量和 IOPS 负载。

要查看构成文件系统的 MDT 和 OST 的存储使用情况，请从装载了文件系统的客户端运行以下命令。

lfs df -h mount/path

此命令的输出如下所示。

UUID                             bytes       Used   Available Use% Mounted on
mountname-MDT0000_UUID           68.7G       5.4M       68.7G   0% /fsx[MDT:0]
mountname-OST0000_UUID            1.1T       4.5M        1.1T   0% /fsx[OST:0]
mountname-OST0001_UUID            1.1T       4.5M        1.1T   0% /fsx[OST:1]

filesystem_summary:               2.2T       9.0M        2.2T   0% /fsx

在文件系统中对数据进行条带化

您可以通过文件条带化优化文件系统的吞吐量性能。Amazon FSx for Lustre 会自动在 OST 之间分布文件，以确保所有存储服务器提供数据。您可以通过配置文件在多个 OST 之间进行条带化的方式，在文件级应用相同的概念。

条带化意味着文件可以分成多个区块，然后在不同的 OST 之间存储。当一个文件跨多个 OST 条带化时，对该文件的读取或写入请求会分散在这些操作系统上，从而提高应用程序可以通过它驱动的总吞吐量或 IOPS。

以下是 Amazon FSx for Lustre 文件系统的默认布局。

您可以使用查看文件或目录的布局配置lfs getstripe命令。

lfs getstripe path/to/filename

此命令报告文件的条带计数、条带大小和条带偏移量。这些区域有：条纹计数是文件条带化了多少 OST。这些区域有：条纹大小是 OST 上存储了多少连续数据。这些区域有：条纹偏移量是文件条带化的第一个 OST 的索引。

修改条带化配置

文件的布局参数是在首次创建文件时设置的。使用lfs setstripe命令创建具有指定布局的新的空文件。

lfs setstripe filename --stripe-count number_of_OSTs

这些区域有：lfs setstripe命令只影响新文件的布局。在创建文件之前，使用它来指定文件的布局。您也可以为目录定义布局。在目录上设置后，该布局将应用于添加到该目录的每个新文件，但不应用于现有文件。您创建的任何新子目录也将继承新布局，然后将其应用于您在该子目录中创建的任何新文件或目录。

要修改现有文件的布局，请使用lfs migrate命令。此命令根据您在命令中指定的布局复制文件，以便分发其内容。例如，附加到或增加大小的文件不会更改条带计数，因此您必须迁移它们才能更改文件布局。另外，您也可以使用lfs setstripe命令来指定其布局，将原始内容复制到新文件中，然后重命名新文件以替换原始文件。

在某些情况下，默认布局配置不适合您的工作负载。例如，具有数十个 OST 和大量数千兆字节文件的文件系统可能会通过将文件分割在超过默认条带计数值五个 OST 的条带计数值之间，从而获得更高的性能。创建条带数较少的大文件可能会导致 I/O 性能瓶颈，还可能导致 OST 填满。在这种情况下，您可以为这些文件创建一个带数较大的目录。

为大文件（尤其是大小超过 GB 的文件）设置条带布局很重要，原因如下：

对于所有使用案例，没有单一的最佳布局配置。有关文件布局的详细指导，请参阅管理文件布局（条带化）和可用空间在 Lustre.org 文档中。以下是一般准则：

渐进式文件布局

您可以为目录指定渐进式文件布局 (PFL) 配置，以便在填充大小文件之前为其指定不同的条带配置。例如，在将任何数据写入新文件系统之前，您可以在顶级目录上设置 PFL。

要指定 PFL 配置，请使用lfs setstripe命令-E用于为不同大小的文件指定布局组件的选项，例如以下命令：

lfs setstripe -E 100M -c 1 -E 10G -c8 -E -1 -c -1 /mountname/directory

此命令设置三个布局组件：

在 2020 年 12 月 18 日之后创建的针对 Lustre 文件系统的 Amazon FSx 默认 PFL 配置可使用以下命令进行设置：

lfs setstripe -E 1G -c 1 -E -1 -c 5 /mountname

具有对中型和大型文件具有高度并发访问权限的工作负载的客户可能会受益于具有较小尺寸更多条带的布局以及对最大文件的所有 OST 进行条带化，如前面所示的三组件示例布局所示。

性能提示

在使用 Amazon FSx for Lustre 时，请记住以下性能提示。有关服务限制，请参阅配额.