本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
Lustre 文件系统的 FSx 部署和存储类选项
FSx 对于 Lustre 文件系统,请使用永久部署类型。
持久性文件系统
持久性文件系统专为长期存储和工作负载而设计。文件服务器具有高可用性,数据会在文件系统所在的同一可用区内自动复制。附加到文件服务器的数据卷独立于所附加的文件服务器进行复制。
Amazon 会 FSx 持续监控永久文件系统的硬件故障,并在出现故障时自动更换基础设施组件。在持久性文件系统上,如果某个文件服务器变得不可用了,则系统会在故障发生后的几分钟内自动替换该服务器。在此期间,客户端对该服务器上的数据请求会以透明方式进行重试,并最终在更换文件服务器后成功。持久性文件系统上的数据会复制到磁盘,任何出现故障的磁盘会自动透明地进行替换。
对于长期存储以及侧重于吞吐量的工作负载,且这些工作负载将长时间运行或无限期运行,并可能对可用性中断很敏感,在这两种情况下,使用持久性文件系统。
当从支持传输中加密的 Amazon EC2 实例访问传输中的数据时,永久部署类型会自动对其进行加密。
持久部署类型可以基于 Lustre v2.10 或 v2.12 而构建,并支持 SSD(固态驱动器)和 HDD(硬盘驱动器)存储类型。对于固态硬盘存储,每单位存储的吞吐量为 MBps 每兆字节 (TiB) 50、100 或 200。对于 HDD,每单位存储的吞吐量为 MBps 每 TB 字节 12 或 40。
持久 1 部署类型全部可用 Amazon Web Services 区域。
文件系统的 IP 地址
每个 FSx Lustre 文件系统要求每个元数据服务器 (MDS) 有一个 IP 地址,每个存储服务器 (OSS) 需要一个 IP 地址。
文件系统类型 | 吞吐量, MBps/TiB | 每个 OSS 的存储空间 |
---|---|---|
永久性 1 固态硬盘 | 50、100、200 | 每个 OSS 2.4 TiB |
永久硬盘 | 12 | 每个 OSS 6 TiB |
40 | 每个 OSS 1.8 TiB |
注意
* Amazon FSx 在持续 2 固态硬盘和配置了元数据配置的智能分层文件系统上每 12,000 次元数据 IOPS 预置一个元数据服务器。
Amazon f FSx or Lustre Intelligent-Tiering 文件系统每个 OSS 最多支持 512 TiB 的存储空间。
FSx 适用于 Lustre 存储类别
Amazon FSx for Lustre 提供固态硬盘 (SSD) 和硬盘驱动器 (HDD) 存储类别,它们针对不同的数据处理要求进行了优化:
SSD 存储类别可提供对完整数据集的低延迟(亚毫秒)访问权限。SSD 存储类别已预配置,这意味着您可以指定文件系统大小,并根据预配置的存储量支付存储成本。将 SSD 存储类用于延迟敏感型工作负载,这些工作负载需要在所有数据上都具有全闪存存储的性能。
与持续 1 文件系统相比,具有 SSD 存储的永久 2 文件系统支持更高的每单位存储吞吐量(即 MBps 每 TiB 250、500 或 1000)。对于具有 SSD 存储空间的 Persitent 1 文件系统,每单位存储的吞吐量为 MBps 每 TiB 50、100 或 200。对于具有 SSD 存储空间的 Scratch 文件系统,每单位存储的吞吐量为 MBps 每 TiB 200。
HDD 存储类可用于需要在所有数据中保持一致的个位数 ms 延迟的工作负载。您可以配置大小为 HDD 存储容量的 20% 的可选 SSD 读取缓存,以提供对经常访问的数据的低延迟访问。使用 HDD 存储,您可以指定文件系统大小并按预配置的存储量付费。对于具有 HDD 存储空间的 Persitent 1 文件系统,每单位存储的吞吐量为 MBps 每 TiB 12 或 40。
有关这些存储类性能的更多信息,请参见固态硬盘和硬盘存储类别的性能特征和。
智能分层存储类如何对数据进行分层
Amazon FSx Intelligent-Tiering 存储类会自动将数据存储在三个访问层中。它旨在通过自动将数据移动到最经济实惠的访问层来优化存储成本,而不会影响性能或运营开销。Intelligent-Tiering 存储类会根据上次访问时间自动对数据进行分层,从而自动优化不太活跃的数据的成本:
过去 30 天内访问的数据存储在频繁访问层中。
连续 30 天未被访问的数据会自动移至 “不频繁访问” 级别,其成本低于频繁访问层中的数据。
连续 90 天未被访问的数据会自动移至存档即时访问层,其成本低于低频访问层中的数据。
当您访问 “不频繁访问” 或 “存档即时访问” 层中的数据时,数据会自动移回 “频繁访问” 层。对非缓存数据的所有访问都具有相同的性能特征,与数据层无关,并且除了正常的读/写操作成本外,不会产生额外的 IOPS、检索或过渡成本。