卷存储容量 - FSx for ONTAP
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

卷存储容量

FSx for ONTAP 卷是虚拟资源,用于对数据进行分组、确定数据的存储方式,以及确定数据的访问类型。卷(例如文件夹)本身不会消耗文件系统的存储容量。只有卷中存储的数据才会消耗 SSD 存储空间,而且根据卷的分层策略,还会消耗容量池存储空间。您可以在创建卷时设置其大小,也可以稍后更改大小。您可以使用、和 API 以及 ONTAP CLI 监控和管理 FSx for ONTAP 卷的 Amazon Web Services Management Console存储容量。 Amazon CLI

卷数据分层

适用于 NetApp ONTAP 文件系统的 Amazon FSx 有两个存储层:主存储和容量池存储。主存储是预配置的可扩展高性能 SSD 存储,专为数据集的活动部分而构建。容量池存储是完全弹性的存储层,可以自动扩展到 PB 级大小,并且针对不经常访问的数据进行成本优化。

根据卷的分层策略、冷却时间和阈值设置,每个卷上的数据会自动分层到容量池存储层。以下各节描述了ONTAP卷分层策略以及用于确定何时将数据分层到容量池的阈值。

卷分层策略

您可以通过为文件系统上的每个卷选择分层策略来确定如何将 FSx 用于 ONTAP 文件系统的存储层。您可以在创建卷时选择分层策略,也可以随时使用 Amazon FSx 控制台 Amazon CLI、、API 或NetApp 使用管理工具对其进行修改。您可以选择以下其中一种策略,用于确定哪些数据(如果有)分层到容量池存储。

注意

分层可以将文件数据和快照数据移至容量池层。但是,文件元数据始终保留在 SSD 层。有关更多信息,请参阅 SSD 存储的使用方式

  • 自动 – 此策略将所有冷数据(用户数据和快照)移动到容量池层。数据的冷却速率由策略的冷却周期决定。冷却周期默认为 31 天,可以配置为 2-183 天之间的值。当底层冷数据块被随机读取时(就像典型文件访问一样),这些冷数据块会变热并写入主存储层。当冷数据块被按顺序读取时(例如,通过杀毒扫描),这些冷数据块会保持冷却并保留在容量池存储层。当使用 Amazon FSx 控制台创建卷时,这是默认策略。

  • 仅限快照 – 此策略仅将快照数据移动到容量池存储层。快照分层到容量池的速率由策略的冷却周期决定。冷却周期默认设置为 2 天,可以配置为 2-183 天之间的值。当冷快照数据被读取时,这些数据会变热并写入主存储层。这是使用 Amazon CLI、Amazon FSx API 或 ON NetApp TAP CLI 创建卷时的默认策略。

  • 全部 – 此策略将所有用户数据和快照数据标记为冷数据,并将其存储于容量池层。当数据块被读取时,这些数据块保持冷却,不会写入主存储层。当数据被写入采用全部分层策略的卷时,这些数据最初仍会写入 SSD 存储层,之后通过后台进程分层到容量池。请注意,文件元数据始终保留在 SSD 层。

  • – 此策略确保卷的所有数据保留在主存储层,并防止将其移动到容量池存储。如果您在某个卷使用任何其他策略后将其设置为该策略,则只要 SSD 利用率低于 90%,该卷中位于容量池存储的现有数据会通过后台进程移至 SSD 存储。通过故意读取数据或修改卷的云检索策略,您可以加快此后台进程。有关更多信息,请参阅 云检索策略

作为最佳实践,在迁移您计划长期存储于容量池存储的数据时,我们建议为卷使用自动分层策略。使用自动分层,数据会在 SSD 存储层上至少存储 2 天(基于卷的冷却周期),然后再移至容量池层。数据在 SSD 存储上保留至少 2 天之后,ONTAP 会对数据进行后处理压缩和重复数据删除,而且数据会在分层到容量池后保留。ONTAP 仅对 SSD 存储上的数据运行后处理压缩和重复数据删除,因此选择此策略可以帮助您长期更大限度地节省存储空间。您还可以更大限度地提高为卷创建的第一个备份的传输速度,因为要备份的数据位于 SSD 存储上。

有关如何设置或修改卷分层策略的更多信息,请参阅设置卷的分层策略

分层冷却周期

卷的分层冷却周期设置将 SSD 层中的数据标记为冷数据所需的时间。冷却周期适用于 AutoSnapshot-only 分层策略。您可以将冷却周期设置为 2-183 天之间的值。有关如何设置冷却周期的更多信息,请参阅设定最小冷却天数

冷却周期到期 24-48 小时后对数据进行分层。分层是一个后台进程,会消耗网络资源,其优先级低于面向客户端的请求。当有面向客户端的持续请求时,分层活动会节流。

云检索策略

卷的云检索策略设置指定何时允许从容量池层读取的数据提升到 SSD 层的条件。当云检索策略设置为 Default 之外的其他任何状态时,该策略将覆盖卷分层策略的检索行为。卷可能具有以下其中一种云检索策略:

  • 默认 – 此策略根据卷的底层分层策略来检索分层数据。这是所有卷的默认云检索策略。

  • 从不 – 此策略从不检索分层数据,无论读取是顺序读取还是随机读取。这类似于将卷的分层策略设置为全部,不同的是您可以根据最短冷却周期(而不是立即),将其与其他策略(自动仅限快照)结合使用。

  • 读时 – 此策略会检索所有客户端驱动的数据读取的分层数据。使用全部分层策略时,此策略不起作用。

  • 提升 – 此策略标记卷在容量池中的所有数据以供检索到 SSD 层。下次运行每日后台分层扫描仪时会对数据进行标记。如果应用程序具有不频繁运行的周期性工作负载,但在运行时需要 SSD 层性能,则该策略对其有益。使用全部分层策略时,此策略不起作用。

有关设置卷的云检索策略的信息,请参阅设置卷的云检索策略

分层阈值

文件系统的 SSD 存储容量利用率决定了如何ONTAP管理所有卷的分层行为。根据文件系统的 SSD 存储容量使用情况,以下阈值会如所述设置分层行为。有关如何监控卷的 SSD 存储层的容量利用率的信息,请参阅监控卷存储容量

注意

我们建议 SSD 存储层的存储容量利用率不要超过 80%。对于横向扩展文件系统,此建议既适用于所有文件系统聚合的总平均利用率,也适用于每个聚合的利用率。这样可以确保分层正常运行,并为新数据提供开销。如果 SSD 存储层的存储容量利用率一直高于 80%,您可以增加 SSD 存储层的容量。有关更多信息,请参阅 更新文件系统 SSD 存储空间和 IOPS

FSx for ONTAP 使用以下存储容量阈值来管理卷分层:

  • <= 50% SSD 存储层利用率 – 达到此阈值时,SSD 存储层被认为未充分利用,并且只有使用全部分层策略的卷才会将数据分层到容量池存储。达到此阈值时,采用自动仅限快照策略的卷不会对数据进行分层。

  • > 50% SSD 存储层利用率 – 采用自动仅限快照分层策略的卷根据分层最短冷却天数设置对数据进行分层。默认设置为 31 天。

  • >= 90% SSD 存储层利用率 – 达到此阈值时,Amazon FSx 会优先考虑保留 SSD 存储层中的空间。为采用自动仅限快照策略的卷读取数据时,容量池层中的冷数据不再移至 SSD 存储层。

  • >= 98% SSD 存储层利用率 – 当 SSD 存储层的利用率等于或高于 98% 时,所有分层功能都会停止。您可以继续从存储层读取数据,但不能写入存储层。

快照和卷存储容量

快照是适用于 NetApp ONTAP 的 Amazon FSx 卷在某个时间点的只读映像。快照可防止卷中的文件被意外删除或修改。用户可通过快照轻松查看和还原早期快照中的单个文件或文件夹。

快照与文件系统的数据一同存储,因此快照会消耗文件系统的存储容量。但是,快照仅消耗文件在上次快照中已更改部分的存储容量。文件系统卷的备份中不包含快照。

默认情况下,使用默认快照策略在卷上启用快照。快照存储于卷根的 .snapshot 目录。您可以通过以下方式管理快照的卷存储容量:

有关更多信息,请参阅 快照的使用

卷文件容量

适用于 NetApp ONTAP 卷的 Amazon FSx 具有文件指针,用于存储文件元数据,例如文件名、上次访问时间、权限、大小,以及用作指向数据块的指针。这些文件指针被称为索引节点,每个卷针对索引节点数量有有限的容量,称为卷文件容量。当卷运行不足或耗尽其可用文件(索引节点)时,您无法向该卷写入其他数据。

卷可以包含的文件系统对象(文件、目录、快照副本)的数量取决于拥有的索引节点数。卷中索引节点的数量与卷的存储容量(以及卷的卷组成部分的数量)相应增加。FlexGroup默认情况下,存储容量为 648 GiB 或以上的FlexVol卷(或FlexGroup组成部分)都具有相同数量的索引节点:21,251,126。如果您创建了大于 648GiB 的卷,并且希望其索引节点数超过 21,251,126,您必须手动增加索引节点(文件)的数量上限。有关查看卷的最大文件数的更多信息,请参阅查看卷的文件容量

卷上默认索引节点的数量为每 32KiB 卷存储容量为 1 个索引节点,卷大小不超过 648GiB。对于 1GiB 卷:

卷字节数 ×(1 个文件 ÷ 索引节点字节数)= 文件最大数

1,073,741,824 字节 ×(1 个文件 ÷ 32,768 字节)= 32,768 个文件

您可以增加卷可包含的索引节点数上限,即每 4KiB 存储容量最多 1 个索引节点。对于 1GiB 卷,这样会将索引节点或文件的数量上限从 32,768 增加到 262,144:

1,073,741,824 字节 ×(1 个文件 ÷ 4096 字节)= 262,144 个文件

一个 FSx for ONTAP 卷最多可以有 20 亿个索引节点。

有关更改卷可存储的最大文件数的信息,请参阅增加卷上文件的数量上限