本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
管理存储容量
适用于 NetApp ONTAP 的 Amazon FSx 提供了许多与存储相关的功能,您可以使用这些功能来管理文件系统的存储容量。
FSx for ONTAP 存储层
存储层是适用于 NetApp ONTAP 的 Amazon FSx 文件系统的物理存储介质。FSx for ONTAP 提供以下存储层:
SSD 层 – 用户预置的高性能固态硬盘(SSD)存储,专为数据集的活跃部分而构建。
容量池层 – 完全弹性的存储,可以自动扩展到 PB 级大小,并且针对不经常访问的数据进行成本优化。
FSx for ONTAP 卷是一种类似于文件夹的虚拟资源,不会消耗存储容量。您存储的(以及消耗物理存储空间的)数据位于卷内。创建卷时,您需要指定卷的大小,但可以在创建后修改其大小。FSx for ONTAP 卷是精简配置,不会提前预留文件系统存储空间。相反,SSD 和容量池存储空间根据需要动态分配。您在卷级别配置的分层策略决定 SSD 层中存储的数据是否以及何时过渡到容量池层。
下图举例说明了跨文件系统中多个 FSx for ONTAP 卷分布的数据。
![FSx for ONTAP SSD 和容量池存储层在文件系统卷之间进行逻辑预置。](images/fsx-ontap-volume-virtual-resource.png)
下图说明了上图四个卷中的数据如何消耗文件系统的物理存储容量。
![文件系统中所有卷上的 SSD(或主存储层)以及容量池存储层对文件系统物理存储容量的使用情况。](images/fsx-ontap-storage-tiers-physical-resource.png)
您可以选择更符合文件系统中每个卷的要求的分层策略,从而降低存储成本。有关更多信息,请参阅 卷数据分层。
选择合适数量的文件系统 SSD 存储
在为 FSx for ONTAP 文件系统选择 SSD 存储容量时,您需要记住以下事项,这些事项会影响可用于存储数据的 SSD 存储量:
为 NetApp ONTAP 软件开销预留的存储容量。
文件元数据
最近写入的数据
您打算在 SSD 存储空间上存储的文件,无论是尚未达到冷却周期的数据,还是您最近读取的数据,都会被检索回 SSD。
SSD 存储的使用方式
文件系统的 SSD 存储用于组合使用 NetApp ONTAP 软件(开销)、文件元数据和数据。
NetApp ONTAP 软件开销
与其他 NetApp ONTAP 文件系统一样,文件系统的 SSD 存储容量中多达 16% 是为 ONTAP 开销预留的,这意味着它不能用于存储您的文件。ONTAP 开销的分配方式如下:
11% 留给 NetApp ONTAP 软件。对于固态硬盘存储容量超过 30 太字节 (TiB) 的文件系统,预留 6%。
5% 预留给聚合快照。在文件系统的文件服务器之间同步数据时需要聚合快照。
文件元数据
文件元数据通常占用文件消耗的存储容量的 3-7%。该百分比取决于平均文件大小(平均文件大小越小,需要的元数据越多),以及文件的存储效率节省量。请注意,文件元数据无法从存储效率节省中受益。您可以使用以下准则来估算文件系统上元数据使用的 SSD 存储量。
平均文件大小 | 元数据大小与文件数据百分比的对应关系 |
---|---|
4 KB |
7% |
8 KB |
3.5% |
32KB 或更大 |
1-3% |
在调整计划在容量池层上存储的文件元数据所需的 SSD 存储容量时,我们建议采用保守比率,即容量池层上计划存储的每 10GiB 数据对应 1GiB 的 SSD 存储空间。
SSD 层上存储的文件数据
除活跃数据集和所有文件元数据外,写入文件系统的所有数据最初都会写入 SSD 层,然后再分层到容量池存储。无论卷采用何种分层策略,都是如此,但使用 SnapMirror 向配置了所有数据分层策略的卷传输数据除外。
只要 SSD 层的利用率低于 90%,容量池层的随机读取内容就会在 SSD 层中缓存。有关更多信息,请参阅 卷数据分层。
建议的 SSD 容量利用率
我们建议 SSD 存储层的利用率不要一直超过 80%。对于横向扩展文件系统,我们还建议您对任何文件系统聚合的持续利用率不要超过 80%。这些建议与针对 ONTAP NetApp 的建议一致。由于文件系统的 SSD 层还用于暂存向容量池层的写入以及从容量池层进行的随机读取,因此,访问模式的任何突然变化都可能很快导致 SSD 层的利用率提高。
当 SSD 利用率为 90% 时,从容量池层读取的数据将不再缓存于 SSD 层,以便剩余的 SSD 容量预留给写入文件系统的新数据。这样会导致,从容量池层重复读取的相同数据会从容量池存储读取,而不是缓存在 SSD 层并从中读取,从而影响文件系统的吞吐能力。
当 SSD 层的利用率达到或高于 98% 时,所有分层功能都会停止。有关更多信息,请参阅 分层阈值。
FSx for ONTAP 存储效率
NetApp ONTAP 提供数据块级存储效率功能,包括压缩、压缩和重复数据删除,可在不牺牲性能的情况下为您节省高达 65% 的存储容量,用于一般文件共享。
适用于 NetApp ONTAP 的 Amazon FSx 还支持其他可为您节省空间的 ONTAP 功能,包括快照、精简配置和卷。 FlexClone
存储效率功能默认未启用。您可按如下方式将其启用:
要查看启用存储效率的文件系统节省的存储量,请参阅查看存储效率节省情况。
计算存储效率节省量
您可以使用LogicalDataStored
和 StorageUsed
FSx for ONTAP CloudWatch 文件系统指标来计算压缩、重复数据删除、压缩、快照和所节省的存储空间。FlexClones这些指标使用单个维度 FileSystemId
。有关更多信息,请参阅 文件系统指标。
要以字节为单位计算存储效率节省,请取给定时段内
StorageUsed
的平均值,然后从相同时段内LogicalDataStored
的平均值中减去该值。要计算存储效率带来的节省占逻辑数据总大小的百分比,请取某个给定时间段内的
StorageUsed
的Average
,然后从同一时间段的LogicalDataStored
的Average
中减去此值。然后使用差值除以同一时间段内的LogicalDataStored
的Average
。
SSD 大小调整示例
假设您要为某个应用程序存储 100TiB 的数据。该应用程序中 80% 的数据不经常被访问。在这种情况下,80%(80TB)的数据会自动分层到容量池层,剩余 20%(20TB)仍保留在 SSD 存储中。根据通用文件共享工作负载的通常存储效率节省为 65%,这相当于 7TiB 的数据。要保持 80% 的 SSD 利用率,您需要使用 8.75TiB 的 SSD 存储容量来存储 20TiB 的活跃访问数据。您预置的 SSD 存储量还需要考虑 16% 的 ONTAP 软件存储开销,如以下计算所示。
ssdNeeded = ssdProvisioned * (1 - 0.16) 8.75 TiB / 0.84 = ssdProvisioned 10.42 TiB = ssdProvisioned
因此,在本示例中,您需要预置至少 10.42TiB 的 SSD 存储空间。您还将使用 28TiB 的容量池存储空间来存储剩余 80TiB 不经常访问的数据。