本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
Lustre 文件系统的 FSx 部署和存储类选项
FSx 对于 Lustre 文件系统,请使用永久部署类型。
持久性文件系统
持久性文件系统专为长期存储和工作负载而设计。对于基于 SSD 的文件系统,将在文件系统所在的同一可用区内自动复制数据。附加到文件服务器的数据卷独立于所附加的文件服务器进行复制。
Amazon 会 FSx 持续监控永久文件系统的硬件故障,并在出现故障时自动更换基础设施组件。在持久性文件系统上,如果某个文件服务器变得不可用了,则系统会在故障发生后的几分钟内自动替换该服务器。在此期间,客户端对该服务器上的数据请求会以透明方式进行重试,并最终在更换文件服务器后成功。持久性文件系统上的数据会复制到磁盘,任何出现故障的磁盘会自动透明地进行替换。
对于长期存储以及侧重于吞吐量的工作负载,且这些工作负载将长时间运行或无限期运行,并可能对可用性中断很敏感,在这两种情况下,使用持久性文件系统。
从支持传输中加密的 Amazon EC2 实例访问传输中数据时,持久部署类型会自动对其进行加密。
持久部署类型可以基于 Lustre v2.10 或 v2.12 而构建,并支持 SSD(固态驱动器)和 HDD(硬盘驱动器)存储类型。对于固态硬盘存储,每单位存储的吞吐量为 MBps 每兆字节 (TiB) 50、100 或 200。对于 HDD,每单位存储的吞吐量为 MBps 每 TB 字节 12 或 40。
持久 1 部署类型全部可用 Amazon Web Services 区域。
文件系统的 IP 地址
每个 FSx Lustre 文件系统要求每个元数据服务器 (MDS) 有一个 IP 地址,每个存储服务器 (OSS) 需要一个 IP 地址。
| 文件系统类型 | 吞吐量, MBps/TiB | 每个操作系统的存储 |
|---|---|---|
| Persistent 1 SSD | 50、100、200 | 每个操作系统 2.4TiB |
| Persistent HDD | 12 | 每个操作系统 6TiB |
| 40 | 每个操作系统 1.8TiB |
注意
* Amazon FSx 在持续 2 固态硬盘和配置了元数据配置的智能分层文件系统上每 12,000 次元数据 IOPS 预置一个元数据服务器。
Amazon f FSx or Lustre Intelligent-Tiering 文件系统每个 OSS 最多支持 512 TiB 的存储空间。
FSx 适用于 Lustre 存储类别
Amazon FSx for Lustre 提供固态硬盘 (SSD) 和硬盘驱动器 (HDD) 存储类别,它们针对不同的数据处理要求进行了优化:
SSD 存储类别提供对完整数据集的低延迟(亚毫秒)访问权限。SSD 存储类别已进行预置,这意味着您可以指定文件系统大小,并根据预置的存储量支付存储费用。对于需要全闪存存储性能且对延迟敏感的工作负载,请使用 SSD 存储类别。
与持续 1 文件系统相比,具有 SSD 存储的永久 2 文件系统支持更高的每单位存储吞吐量(即 MBps 每 TiB 250、500 或 1000)。对于具有 SSD 存储空间的 Persitent 1 文件系统,每单位存储的吞吐量为 MBps 每 TiB 50、100 或 200。对于具有 SSD 存储空间的 Scratch 文件系统,每单位存储的吞吐量为 MBps 每 TiB 200。
HDD 存储类别可用于需要所有数据保持稳定的个位数毫秒级延迟的工作负载。您可以预置可选的 SSD 读取缓存,其容量可设置为 HDD 存储容量的 20%,从而为频繁访问的数据提供低延迟访问。使用 HDD 存储,您可以指定文件系统大小,并根据预置的存储量付费。对于具有 HDD 存储空间的 Persitent 1 文件系统,每单位存储的吞吐量为 MBps 每 TiB 12 或 40。
有关这些存储类别的性能的更多信息,请参阅 SSD 和 HDD 存储类别的性能特点 和 。
Intelligent-Tiering 存储类别如何分层数据
Amazon FSx Intelligent-Tiering 存储类会自动将数据存储在三个访问层中。该存储类别旨在通过将数据自动移动到最具成本效益的访问层来优化存储成本,而不会对性能或运营开销产生影响。Intelligent-Tiering 存储类别会根据上次访问时间自动对数据进行分层,从而自动优化不常访问数据的成本:
最近 30 天内访问过的数据存储在频繁访问层中。
连续 30 天未访问的数据会自动移至不常访问层,其存储成本低于频繁访问层。
连续 90 天未访问的数据会自动移至归档即时访问层,其存储成本低于不常访问层。
当您访问不常访问层或归档即时访问层中的数据时,数据将自动移回至频繁访问层。此外,修改吞吐容量(重新平衡数据 OSTs)、重新分条文件或目录或使用 “lfs migrate” 等操作可能会将一些数据移回频繁访问层。
对非缓存数据的所有访问都具有相同的性能特征,与数据层无关,并且除了正常 read/write 运营成本外,不会产生额外的 IOPS、检索或过渡成本。