适用于 Lustre 文件系统的 FSx 的部署选项 - FSx for Lustre
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

适用于 Lustre 文件系统的 FSx 的部署选项

FsX for Lustre 提供高性能的parallel 文件系统,可将数据存储在多个网络文件服务器上,以最大限度地提高性能并减少瓶颈。这些服务器有多个磁盘。为了分散负载,Amazon FSx 使用一种称为条带化的过程将文件系统数据分成更小的块,然后将它们分散到磁盘和服务器上。有关 FsX for Lustre 数据条带化的更多信息,请参阅对文件系统中的数据进行条带化

最佳做法是将位于 Amazon S3 上的高度耐用的长期数据存储库与 FsX for Lustre 高性能文件系统关联起来。

在这种情况下,您将数据集存储在链接的 Amazon S3 数据存储库中。创建 FsX for Lustre 文件系统时,将其链接到 S3 数据存储库。此时,您的 S3 存储桶中的对象将作为文件和目录列在 FSx 文件系统上。然后,当首次在 Amazon FSx 文件系统上访问文件时,Amazon FSx 会自动将文件内容从 S3 复制到您的 Lustre 文件系统。计算工作负载运行后,或在任何时候,您可以使用数据存储库任务将更改导出回 S3。有关更多信息,请参阅 将数据存储库与Amazon FSx for Lustre使用数据存储库任务导出更改

FsX for Lustre 的文件系统部署选项

适用于 Lustre 文件系统的 FSx 使用持久部署类型。

无论您使用哪种部署类型,当您创建 Amazon FSx for Lustre 文件系统时,都会自动启用静态数据加密。当从支持传输中加密的 Amazon EC2 实例访问传输中的数据时,Scratch 2 和永久文件系统会自动加密传输中的数据。有关加密的更多信息,请参阅Amazon FSx for Lustre

永久文件系统

Peristent 文件系统专为长期存储和工作负载而设计。文件服务器具有高可用性,数据会自动复制到文件系统所在的同一可用区内。连接到文件服务器的数据卷独立于它们所连接的文件服务器进行复制。

Amazon FSx 持续监控永久文件系统中的硬件故障,并在出现故障时自动更换基础设施组件。在永久文件系统上,如果文件服务器不可用,则会在出现故障后的几分钟内自动将其替换。在此期间,客户端对该服务器上的数据请求会透明地重试,并在文件服务器被替换后最终成功。永久文件系统上的数据将复制到磁盘上,所有故障磁盘都会自动透明地更换。

将永久文件系统用于长期存储,以及长期或无限期运行且可能对可用性中断敏感的以吞吐量为重点的工作负载。

下图显示了 Amazon FSx for Lustre 永久文件系统的架构,该系统在单个可用区内具有高可用性的复制文件服务器和数据量。

当从支持传输中加密的 Amazon EC2 实例访问传输中的数据时,持久部署类型会自动对传输中的数据进行加密。

持久部署类型可以在 Lustre v2.10 或 v2.12 上构建,并支持 SSD(固态驱动器)和 HDD(硬盘驱动器)存储类型。对于固态硬盘存储,每单位存储的吞吐量为每千兆字节 (TiB) 50、100 或 200 MB/s。对于 HDD,每单位存储的吞吐量为每千兆字节 12 或 40 MB/s。

Persistent_1 部署类型全部可用Amazon Web Services 区域。


     FSx for Lustre 永久文件系统架构。