管理存储容量 - FSx for ONTAP
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

管理存储容量

适用于 NetApp ONTAP 的 Amazon FSx 提供了许多与存储相关的功能,您可以使用这些功能来管理文件系统的存储容量。

FSx for ONTAP 存储层

存储层是适用于 NetApp ONTAP 的 Amazon FSx 文件系统的物理存储介质。FSx for ONTAP 提供以下存储层:

  • SSD 层 – 用户预置的高性能固态硬盘(SSD)存储,专为数据集的活跃部分而构建。

  • 容量池层 – 完全弹性的存储,可以自动扩展到 PB 级大小,并且针对不经常访问的数据进行成本优化。

FSx for ONTAP 卷是一种类似于文件夹的虚拟资源,不会消耗存储容量。您存储的(以及消耗物理存储空间的)数据位于卷内。创建卷时,您需要指定卷的大小,但可以在创建后修改其大小。FSx for ONTAP 卷是精简配置,不会提前预留文件系统存储空间。相反,SSD 和容量池存储空间根据需要动态分配。您在卷级别配置的分层策略决定 SSD 层中存储的数据是否以及何时过渡到容量池层。

下图举例说明了跨文件系统中多个 FSx for ONTAP 卷分布的数据。

FSx for ONTAP SSD 和容量池存储层在文件系统卷之间进行逻辑预置。

下图说明了上图四个卷中的数据如何消耗文件系统的物理存储容量。

文件系统中所有卷上的 SSD(或主存储层)以及容量池存储层对文件系统物理存储容量的使用情况。

您可以选择更符合文件系统中每个卷的要求的分层策略,从而降低存储成本。有关更多信息,请参阅 卷数据分层

选择合适数量的文件系统 SSD 存储

在为 FSx for ONTAP 文件系统选择 SSD 存储容量时,您需要记住以下事项,这些事项会影响可用于存储数据的 SSD 存储量:

  • 为 NetApp ONTAP 软件开销预留的存储容量。

  • 文件元数据

  • 最近写入的数据

  • 您打算在 SSD 存储空间上存储的文件,无论是尚未达到冷却周期的数据,还是您最近读取的数据,都会被检索回 SSD。

SSD 存储的使用方式

文件系统的 SSD 存储用于组合使用 NetApp ONTAP 软件(开销)、文件元数据和数据。

NetApp ONTAP 软件开销

与其他 NetApp ONTAP 文件系统一样,文件系统的 SSD 存储容量中多达 16% 是为 ONTAP 开销预留的,这意味着它不能用于存储您的文件。ONTAP 开销的分配方式如下:

  • 11% 留给 NetApp ONTAP 软件。对于固态硬盘存储容量超过 30 太字节 (TiB) 的文件系统,预留 6%。

  • 5% 预留给聚合快照。在文件系统的文件服务器之间同步数据时需要聚合快照。

文件元数据

文件元数据通常占用文件消耗的存储容量的 3-7%。该百分比取决于平均文件大小(平均文件大小越小,需要的元数据越多),以及文件的存储效率节省量。请注意,文件元数据无法从存储效率节省中受益。您可以使用以下准则来估算文件系统上元数据使用的 SSD 存储量。

平均文件大小 元数据大小与文件数据百分比的对应关系

4 KB

7%

8 KB

3.5%

32KB 或更大

1-3%

在调整计划在容量池层上存储的文件元数据所需的 SSD 存储容量时,我们建议采用保守比率,即容量池层上计划存储的每 10GiB 数据对应 1GiB 的 SSD 存储空间。

SSD 层上存储的文件数据

除活跃数据集和所有文件元数据外,写入文件系统的所有数据最初都会写入 SSD 层,然后再分层到容量池存储。无论卷采用何种分层策略,都是如此,但使用 SnapMirror 向配置了所有数据分层策略的卷传输数据除外。

只要 SSD 层的利用率低于 90%,容量池层的随机读取内容就会在 SSD 层中缓存。有关更多信息,请参阅 卷数据分层

建议的 SSD 容量利用率

我们建议 SSD 存储层的利用率不要一直超过 80%。对于横向扩展文件系统,我们还建议您对任何文件系统聚合的持续利用率不要超过 80%。这些建议与针对 ONTAP NetApp 的建议一致。由于文件系统的 SSD 层还用于暂存向容量池层的写入以及从容量池层进行的随机读取,因此,访问模式的任何突然变化都可能很快导致 SSD 层的利用率提高。

当 SSD 利用率为 90% 时,从容量池层读取的数据将不再缓存于 SSD 层,以便剩余的 SSD 容量预留给写入文件系统的新数据。这样会导致,从容量池层重复读取的相同数据会从容量池存储读取,而不是缓存在 SSD 层并从中读取,从而影响文件系统的吞吐能力。

当 SSD 层的利用率达到或高于 98% 时,所有分层功能都会停止。有关更多信息,请参阅 分层阈值

FSx for ONTAP 存储效率

NetApp ONTAP 提供数据块级存储效率功能,包括压缩、压缩和重复数据删除,可在不牺牲性能的情况下为您节省高达 65% 的存储容量,用于一般文件共享。

适用于 NetApp ONTAP 的 Amazon FSx 还支持其他可为您节省空间的 ONTAP 功能,包括快照、精简配置和卷。 FlexClone

存储效率功能默认未启用。您可按如下方式将其启用:

要查看启用存储效率的文件系统节省的存储量,请参阅查看存储效率节省情况

计算存储效率节省量

您可以使用LogicalDataStoredStorageUsed FSx for ONTAP CloudWatch 文件系统指标来计算压缩、重复数据删除、压缩、快照和所节省的存储空间。FlexClones这些指标使用单个维度 FileSystemId。有关更多信息,请参阅 文件系统指标

  • 要以字节为单位计算存储效率节省,请取给定时段内 StorageUsed 的平均值,然后从相同时段内 LogicalDataStored 的平均值中减去该值。

  • 要计算存储效率带来的节省占逻辑数据总大小的百分比,请取某个给定时间段内的 StorageUsedAverage,然后从同一时间段的 LogicalDataStoredAverage 中减去此值。然后使用差值除以同一时间段内的 LogicalDataStoredAverage

SSD 大小调整示例

假设您要为某个应用程序存储 100TiB 的数据。该应用程序中 80% 的数据不经常被访问。在这种情况下,80%(80TB)的数据会自动分层到容量池层,剩余 20%(20TB)仍保留在 SSD 存储中。根据通用文件共享工作负载的通常存储效率节省为 65%,这相当于 7TiB 的数据。要保持 80% 的 SSD 利用率,您需要使用 8.75TiB 的 SSD 存储容量来存储 20TiB 的活跃访问数据。您预置的 SSD 存储量还需要考虑 16% 的 ONTAP 软件存储开销,如以下计算所示。

ssdNeeded = ssdProvisioned * (1 - 0.16) 8.75 TiB / 0.84 = ssdProvisioned 10.42 TiB = ssdProvisioned

因此,在本示例中,您需要预置至少 10.42TiB 的 SSD 存储空间。您还将使用 28TiB 的容量池存储空间来存储剩余 80TiB 不经常访问的数据。