本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
卷存储容量
FSx for ONTAP 卷是虚拟资源,用于对数据进行分组、确定数据的存储方式,以及确定数据的访问类型。卷(例如文件夹)本身不会消耗文件系统的存储容量。只有卷中存储的数据才会消耗 SSD 存储空间,而且根据卷的分层策略,还会消耗容量池存储空间。您可以在创建卷时设置其大小,也可以稍后更改大小。您可以使用、和 API 以及 ONTAP CLI 监控和管理 FSx for ONTAP 卷的 Amazon Web Services 管理控制台存储容量。 Amazon CLI
卷数据分层
适用于 NetApp ONTAP 文件系统的 Amazon FSx 有两个存储层:主存储和容量池存储。主存储是预配置的可扩展高性能 SSD 存储,专为数据集的活动部分而构建。容量池存储是完全弹性的存储层,可以自动扩展到 PB 级大小,并且针对不经常访问的数据进行成本优化。
根据卷的分层策略、冷却周期和阈值设置,每个卷上的数据会自动分层到容量池存储层。以下各部分介绍了 ONTAP 卷分层策略,以及在确定何时将数据分层存入容量池时使用的阈值。
注意
FSx for ONTAP 支持将数据分层到所有 SnapLock 卷上的容量池,无论 SnapLock 类型如何。有关更多信息,请参阅 操作方法 SnapLock 方式。
卷分层策略
您可以为文件系统的每个卷选择分层策略,从而确定如何使用 FSx for ONTAP 文件系统的存储层。您可以在创建卷时选择分层策略,也可以随时使用 Amazon FSx 控制台 Amazon CLI、、API 或NetApp 使用管理工具对其进行修改。您可以选择以下其中一种策略,用于确定哪些数据(如果有)分层到容量池存储。
注意
分层可以将文件数据和快照数据移至容量池层。但是,文件元数据始终保留在 SSD 层。有关更多信息,请参阅 SSD 存储的使用方式。
-
自动 – 此策略将所有冷数据(用户数据和快照)移动到容量池层。数据的冷却速率由策略的冷却周期决定。冷却周期默认为 31 天,可以配置为 2-183 天之间的值。当底层冷数据块被随机读取时(就像典型文件访问一样),这些冷数据块会变热并写入主存储层。当冷数据块被按顺序读取时(例如,通过杀毒扫描),这些冷数据块会保持冷却并保留在容量池存储层。当使用 Amazon FSx 控制台创建卷时,这是默认策略。
-
仅限快照 – 此策略仅将快照数据移动到容量池存储层。快照分层到容量池的速率由策略的冷却周期决定。冷却周期默认设置为 2 天,可以配置为 2-183 天之间的值。当冷快照数据被读取时,这些数据会变热并写入主存储层。这是使用 Amazon CLI、Amazon FSx API 或 ON NetApp TAP CLI 创建卷时的默认策略。
-
全部 – 此策略将所有用户数据和快照数据标记为冷数据,并将其存储于容量池层。当数据块被读取时,这些数据块保持冷却,不会写入主存储层。当数据被写入采用全部分层策略的卷时,这些数据最初仍会写入 SSD 存储层,之后通过后台进程分层到容量池。如果全部策略均应用于已包含数据的卷,则现有数据将从 SSD 分层到容量池。请注意,文件元数据始终保留在 SSD 层。
-
无 – 此策略确保卷的所有数据保留在主存储层,并防止将其移动到容量池存储。如果您在某个卷使用任何其他策略后将其设置为该策略,该卷中位于容量池存储的现有数据(包括快照)会通过后台进程移至 SSD 存储。仅当 SSD 利用率低于 90% 且云检索策略设置为
promote或on-read时,才会进行这种数据迁移。通过有意读取数据可加快此后台进程。有关更多信息,请参阅 云检索策略。
有关如何设置或修改卷分层策略的更多信息,请参阅 更新分层策略。
作为最佳实践,在迁移您计划长期存储于容量池存储的数据时,我们建议为卷使用自动分层策略。使用自动分层,数据会在 SSD 存储层上至少存储 2 天(具体取决于卷的冷却周期),然后再移动至容量池层。ONTAP 对 SSD 存储层中存储的数据定期运行处理后重复数据删除,根据卷中的数据变化率自动调整频率。频率越高,后处理重复数据删除作业的触发就越频繁。
默认情况下,由于后处理压缩可能会对文件系统上正在进行的工作负载带来性能影响,因此该功能在 ONTAP 中处于禁用状态。在启用后处理压缩之前,应该评估对工作负载性能带来的影响。要启用后处理压缩,假设 ONTAP CLI 中拥有诊断权限级别并运行以下命令:
::>volume efficiency inactive-data-compression modify -vserversvm-name-volumevol-name-is-enabled true
ONTAP 对在 SSD 存储上至少保留 14 天的数据运行后处理压缩。对于不太可能在较短时间后访问数据的工作负载,可以修改后处理压缩设置,以便更快地运行后处理压缩。例如,要将后处理压缩节省应用于 5 天未访问的数据,请运行以下 ONTAP CLI 命令:
::>volume efficiency inactive-data-compression modify -vserversvm-name-volumevol-name-threshold-days 5 -threshold-days-min 2 -threshold-days-max 14
有关该命令的更多信息,请参阅卷效率之非活动数据压缩修改
通过将数据保留在 SSD 上,可以最大成都地提高所创建卷备份的传输速度,因为 SSD 存储的数据传输速率更高。
分层冷却周期
卷的分层冷却周期设置将 SSD 层中的数据标记为冷数据所需的时间。冷却周期适用于 Auto 和 Snapshot-only 分层策略。您可以将冷却周期设置为 2-183 天之间的值。有关如何设置冷却周期的更多信息,请参阅更新最小冷却天数。
冷却周期到期 24-48 小时后对数据进行分层。分层是一个后台进程,会消耗网络资源,其优先级低于面向客户端的请求。当有面向客户端的持续请求时,分层活动会节流。
云检索策略
卷的云检索策略设置指定何时允许从容量池层读取的数据提升到 SSD 层的条件。当云检索策略设置为 Default 之外的其他任何状态时,该策略将覆盖卷分层策略的检索行为。卷可能具有以下其中一种云检索策略:
默认 – 此策略根据卷的底层分层策略来检索分层数据。这是所有卷的默认云检索策略。
从不 – 此策略从不检索分层数据,无论读取是顺序读取还是随机读取。这与将卷的分层策略设置为 “全部” 类似,不同之处在于您可以将其与其他策略(自动 Snapshot-only)一起使用,根据最短冷却时间而不是立即对数据进行分层。
On-read— 此策略会检索所有客户端驱动的数据读取的分层数据。使用全部分层策略时,此策略不起作用。
提升 – 此策略标记卷在容量池中的所有数据以供检索到 SSD 层。下次运行每日后台分层扫描仪时会对数据进行标记。如果应用程序具有不频繁运行的周期性工作负载,但在运行时需要 SSD 层性能,则该策略对其有益。使用全部分层策略时,此策略不起作用。
有关设置卷的云检索策略的信息,请参阅更新卷的云检索策略。
分层阈值
文件系统的 SSD 存储容量利用率决定 ONTAP 如何管理所有卷的分层行为。根据文件系统的 SSD 存储容量使用情况,以下阈值会如所述设置分层行为。有关如何监控卷的 SSD 存储层的容量利用率的信息,请参阅监控卷存储容量。
注意
我们建议 SSD 存储层的存储容量利用率不要超过 80%。对于第二代文件系统,此建议既适用于所有文件系统聚合的总平均利用率,也适用于每个单独聚合的利用率。这样可以确保分层正常运行,并为新数据提供开销。如果 SSD 存储层的存储容量利用率一直高于 80%,您可以增加 SSD 存储层的容量。有关更多信息,请参阅 更新文件系统 SSD 存储和 IOPS。
FSx for ONTAP 使用以下存储容量阈值来管理卷分层:
<= 50% SSD 存储层利用率 – 达到此阈值时,SSD 存储层被认为未充分利用,并且只有使用全部分层策略的卷才会将数据分层到容量池存储。具有自动和Snapshot-only策略的卷不会在此阈值下对数据进行分层。
> 50% 的固态硬盘存储层利用率 — 具有自动和Snapshot-only分层策略的卷根据分层最小冷却天数设置对数据进行分层。默认设置为 31 天。
>= 90% SSD 存储层利用率 – 达到此阈值时,Amazon FSx 会优先考虑保留 SSD 存储层中的空间。使用 “自动” 和 “Snapshot-only策略” 读取卷时,容量池层中的冷数据不再移至 SSD 存储层。
>= 98% SSD 存储层利用率 – 当 SSD 存储层的利用率等于或高于 98% 时,所有分层功能都会停止。您可以继续从存储层读取数据,但不能写入存储层。
快照和卷存储容量
快照是适用于 NetApp ONTAP 的 Amazon FSx 卷在某个时间点的只读映像。快照可防止卷中的文件被意外删除或修改。用户可通过快照轻松查看和还原早期快照中的单个文件或文件夹。
快照与文件系统的数据一同存储,因此快照会消耗文件系统的存储容量。但是,快照仅消耗文件在上次快照中已更改部分的存储容量。文件系统卷的备份中不包含快照。
默认情况下,使用默认快照策略在卷上启用快照。快照存储于卷根的 .snapshot 目录。您可以通过以下方式管理快照的卷存储容量:
快照策略 – 选择内置快照策略或选择在 ONTAP CLI 或 REST API 中创建的自定义策略。
手动删除快照 – 通过手动删除快照来回收存储容量。
创建快照自动删除策略 – 创建策略以删除比默认快照策略更多的快照。
关闭自动快照 – 通过关闭自动快照来节省存储容量。
有关更多信息,请参阅 使用快照保护您的数据。
卷文件容量
适用于 NetApp ONTAP 卷的 Amazon FSx 具有文件指针,用于存储文件元数据,例如文件名、上次访问时间、权限、大小,以及用作指向数据块的指针。这些文件指针被称为索引节点,每个卷针对索引节点数量有有限的容量,称为卷文件容量。当卷运行不足或耗尽其可用文件(索引节点)时,您无法向该卷写入其他数据。
卷可以包含的文件系统对象(文件、目录、快照副本)的数量取决于拥有的索引节点数。卷中索引节点的数量随卷的存储容量(以及 FlexGroup 卷的卷组件数量)相应增加。默认情况下,存储容量为 648 GiB 或以上的 FlexVol 卷(或 FlexGroup 组件)都具有相同数量的索引节点:21,251,126。如果您创建了大于 648GiB 的卷,并且希望其索引节点数超过 21,251,126,您必须手动增加索引节点(文件)的数量上限。有关查看卷的最大文件数的信息,请参阅 监控卷的文件容量。
卷上默认索引节点的数量为每 32KiB 卷存储容量为 1 个索引节点,卷大小不超过 648GiB。对于 1GiB 卷:
Volume_size_in_bytes × (1 个文件 ε inode_size_in_bytes) = 文件的最大数量
1,073,741,824 字节 ×(1 个文件 ÷ 32,768 字节)= 32,768 个文件
您可以增加卷可包含的索引节点数上限,即每 4KiB 存储容量最多 1 个索引节点。对于 1GiB 卷,这样会将索引节点或文件的数量上限从 32,768 增加到 262,144:
1,073,741,824 字节 ×(1 个文件 ÷ 4096 字节)= 262,144 个文件
一个 FSx for ONTAP 卷最多可以有 20 亿个索引节点。
有关更改卷可存储的最大文件数的信息,请参阅 更新卷上文件的数量上限。