FSx for Lustre 文件系统的部署选项 - FSx for Lustre
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

FSx for Lustre 文件系统的部署选项

FSx for Lustre 提供了一个高性能的并行文件系统,可跨多个网络文件服务器存储数据,从而最大限度地提高性能并减少瓶颈。这些服务器有多个磁盘。为了分散负载,Amazon FSx 将文件系统数据分成更小的数据块,然后使用一个称为条带化的过程将这些数据块分布在各个磁盘和服务器上。有关 FSx for Lustre 数据条带化的更多信息,请参阅对文件系统中的数据进行条带化

最佳实践是将位于 Amazon S3 上高度持久的长期数据存储库与 FSx for Lustre 高性能文件系统相关联。

在此场景中,您将数据集存储在关联的 Amazon S3 数据存储库中。在创建 FSx for Lustre 文件系统时,将其关联到您的 S3 数据存储库。此时,S3 桶中的对象在 FSx 文件系统上以文件和目录的形式列出。然后,当首次在 Amazon FSx 文件系统上访问文件时,Amazon FSx 会自动将文件内容从 S3 复制到您的 Lustre 文件系统。在计算工作负载运行后,可以使用数据存储库任务将更改导出回 S3,也可以随时执行此操作。有关更多信息,请参阅 将数据存储库与 Amazon FSx for Lustre 结合使用使用数据存储库任务导出更改

FSx for Lustre 的文件系统部署选项

FSx for Lustre 文件系统使用持久部署类型。

无论使用何种部署类型,创建 Amazon FSx for Lustre 文件系统时,系统都会自动启用静态数据加密。从支持传输中加密的 Amazon EC2 实例访问传输中数据时,Scratch 2 和持久性文件系统会自动对传输中数据进行加密。有关加密的更多信息,请参阅Amazon FSx for Lustre 中的数据加密

持久性文件系统

持久性文件系统专为长期存储和工作负载而设计。文件服务器具有高可用性,并且数据在文件系统所在的同一可用区内自动复制。附加到文件服务器的数据卷独立于所附加的文件服务器进行复制。

Amazon FSx 持续监控持久性文件系统的硬件故障,并在出现故障时自动更换基础设施组件。在持久性文件系统上,如果某个文件服务器变得不可用了,则系统会在故障发生后的几分钟内自动替换该服务器。在此期间,客户端对该服务器上的数据请求会以透明方式进行重试,并最终在更换文件服务器后成功。持久性文件系统上的数据会复制到磁盘,任何出现故障的磁盘会自动透明地进行替换。

对于长期存储以及侧重于吞吐量的工作负载,且这些工作负载将长时间运行或无限期运行,并可能对可用性中断很敏感,在这两种情况下,使用持久性文件系统。

下图展示了 Amazon FSx for Lustre 持久性文件系统的架构,在单个可用区内具有高度可用的已复制文件服务器和数据卷。

从支持传输中加密的 Amazon EC2 实例访问传输中数据时,持久部署类型会自动对其进行加密。

持久部署类型可以基于 Lustre v2.10 或 v2.12 而构建,并支持 SSD(固态驱动器)和 HDD(硬盘驱动器)存储类型。对于固态硬盘存储,每单位存储的吞吐量为每 TiB 50MB/s、100MB/s 或 200MB/s。对于 HDD,每单位存储的吞吐量为每 TiB 12MB/s 或 40MB/s。

Persistent_1 部署类型在所有 Amazon Web Services 区域 中都可用。


     FSx for Lustre 持久性文件系统架构。