Lustre 文件系统的 FSx 部署和存储类选项 - FSx 为了光泽
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Lustre 文件系统的 FSx 部署和存储类选项

FSx 对于 Lustre 文件系统,请使用永久部署类型。

持久性文件系统

持久性文件系统专为长期存储和工作负载而设计。文件服务器具有高可用性,数据会在文件系统所在的同一可用区内自动复制。附加到文件服务器的数据卷独立于所附加的文件服务器进行复制。

Amazon 会 FSx 持续监控永久文件系统的硬件故障,并在出现故障时自动更换基础设施组件。在持久性文件系统上,如果某个文件服务器变得不可用了,则系统会在故障发生后的几分钟内自动替换该服务器。在此期间,客户端对该服务器上的数据请求会以透明方式进行重试,并最终在更换文件服务器后成功。持久性文件系统上的数据会复制到磁盘,任何出现故障的磁盘会自动透明地进行替换。

对于长期存储以及侧重于吞吐量的工作负载,且这些工作负载将长时间运行或无限期运行,并可能对可用性中断很敏感,在这两种情况下,使用持久性文件系统。

当从支持传输中加密的 Amazon EC2 实例访问传输中的数据时,永久部署类型会自动对其进行加密。

持久部署类型可以基于 Lustre v2.10 或 v2.12 而构建,并支持 SSD(固态驱动器)和 HDD(硬盘驱动器)存储类型。对于固态硬盘存储,每单位存储的吞吐量为 MBps 每兆字节 (TiB) 50、100 或 200。对于 HDD,每单位存储的吞吐量为 MBps 每 TB 字节 12 或 40。

持久 1 部署类型全部可用 Amazon Web Services 区域。

文件系统的 IP 地址

每个 FSx Lustre 文件系统要求每个元数据服务器 (MDS) 有一个 IP 地址,每个存储服务器 (OSS) 需要一个 IP 地址。

使用 SSD 或 HDD 存储类的文件系统
文件系统类型 吞吐量, MBps/TiB 每个 OSS 的存储空间
永久性 1 固态硬盘 50、100、200 每个 OSS 2.4 TiB
永久硬盘 12 每个 OSS 6 TiB
40 每个 OSS 1.8 TiB
注意

* Amazon FSx 在持续 2 固态硬盘和配置了元数据配置的智能分层文件系统上每 12,000 次元数据 IOPS 预置一个元数据服务器。

Amazon f FSx or Lustre Intelligent-Tiering 文件系统每个 OSS 最多支持 512 TiB 的存储空间。

FSx 适用于 Lustre 存储类别

Amazon FSx for Lustre 提供固态硬盘 (SSD) 和硬盘驱动器 (HDD) 存储类别,它们针对不同的数据处理要求进行了优化:

  • SSD 存储类别可提供对完整数据集的低延迟(亚毫秒)访问权限。SSD 存储类别已预配置,这意味着您可以指定文件系统大小,并根据预配置的存储量支付存储成本。将 SSD 存储类用于延迟敏感型工作负载,这些工作负载需要在所有数据上都具有全闪存存储的性能。

    与持续 1 文件系统相比,具有 SSD 存储的永久 2 文件系统支持更高的每单位存储吞吐量(即 MBps 每 TiB 250、500 或 1000)。对于具有 SSD 存储空间的 Persitent 1 文件系统,每单位存储的吞吐量为 MBps 每 TiB 50、100 或 200。对于具有 SSD 存储空间的 Scratch 文件系统,每单位存储的吞吐量为 MBps 每 TiB 200。

  • HDD 存储类可用于需要在所有数据中保持一致的个位数 ms 延迟的工作负载。您可以配置大小为 HDD 存储容量的 20% 的可选 SSD 读取缓存,以提供对经常访问的数据的低延迟访问。使用 HDD 存储,您可以指定文件系统大小并按预配置的存储量付费。对于具有 HDD 存储空间的 Persitent 1 文件系统,每单位存储的吞吐量为 MBps 每 TiB 12 或 40。

有关这些存储类性能的更多信息,请参见固态硬盘和硬盘存储类别的性能特征

智能分层存储类如何对数据进行分层

Amazon FSx Intelligent-Tiering 存储类会自动将数据存储在三个访问层中。它旨在通过自动将数据移动到最经济实惠的访问层来优化存储成本,而不会影响性能或运营开销。Intelligent-Tiering 存储类会根据上次访问时间自动对数据进行分层,从而自动优化不太活跃的数据的成本:

  • 过去 30 天内访问的数据存储在频繁访问层中。

  • 连续 30 天未被访问的数据会自动移至 “不频繁访问” 级别,其成本低于频繁访问层中的数据。

  • 连续 90 天未被访问的数据会自动移至存档即时访问层,其成本低于低频访问层中的数据。

当您访问 “不频繁访问” 或 “存档即时访问” 层中的数据时,数据会自动移回 “频繁访问” 层。对非缓存数据的所有访问都具有相同的性能特征,与数据层无关,并且除了正常的读/写操作成本外,不会产生额外的 IOPS、检索或过渡成本。