管理 FSx for Windows File Server 上的存储
文件系统的存储配置包括预置存储容量、存储类型,以及存储类型为固态硬盘 (SSD) 时的 SSD IOPS 数量。可以在创建文件系统时以及创建之后,配置这些资源以及文件系统吞吐能力,以实现工作负载所需的性能。通过浏览以下主题,了解如何使用 Amazon Web Services Management Console、Amazon CLI 和 Amazon FSx CLI for Remote Management on Powershell 来管理文件系统的存储以及与存储相关的性能。
主题
优化存储成本
可以使用 FSx for Windows 提供的存储配置选项来优化存储成本。
存储类型选项 - FSx for Windows File Server 提供两个存储类型 – 硬盘驱动器 (HDD) 和固态硬盘 (SSD),使您能够优化性价比以满足工作负载需求。HDD 存储专为各种工作负载而设计,包括主目录、用户和部门共享以及内容管理系统。SSD 存储专为性能最高、对延迟最敏感的工作负载而设计,包括数据库、媒体处理工作负载和数据分析应用程序。有关存储类型和文件系统性能的更多信息,请参阅 FSx for Windows File Server 性能。
重复数据删除 - 大型数据集中通常存在冗余数据,这会增加数据存储成本。例如,用户文件共享可以有同一文件的多个副本,由多个用户存储。软件开发共享可以包含许多在各个内部版本中都保持不变的二进制文件。您可以通过为文件系统开启重复数据删除功能来降低数据存储成本。开启后,重复数据删除只存储一次数据集的重复部分,从而自动减少或消除多余的数据。有关重复数据删除以及如何为 Amazon FSx 文件系统轻松启用重复数据删除功能的更多信息,请参阅 通过重复数据删除来降低存储成本。
管理存储容量
您可以随着存储要求的变化增加 FSx for Windows 文件系统的存储容量。您可以使用 Amazon FSx 控制台、Amazon RDS API 或 Amazon Command Line Interface(Amazon CLI)来实现。计划增加存储容量时需要考虑的因素包括了解何时需要增加存储容量、了解 Amazon FSx 如何处理存储容量的增加以及跟踪存储增加请求的进度。您可以仅增加文件系统的存储容量;不得减少存储容量。
注意
对于 2019 年 6 月 23 日之前创建的文件系统,或者从 2019 年 6 月 23 日之前创建的文件系统的备份中恢复的文件系统,无法增加其存储容量。
增加 Amazon FSx 文件系统的存储容量时,Amazon FSx 会在后台为文件系统添加一组容量更大的新磁盘。然后,Amazon FSx 在后台运行存储优化流程,以透明方式将数据从旧磁盘迁移到新磁盘。根据存储类型和其他因素,存储优化可能需要几小时到几天的时间,对工作负载性能的影响微乎其微。在此优化期间,备份使用率会暂时增加,因为文件系统级备份中既包含旧存储卷也包含新存储卷。包含这两组存储卷是为了确保 Amazon FSx 即使在存储扩展活动期间也能成功获取备份以及从备份中恢复。备份历史记录中不再包含旧存储卷后,备份使用率将恢复到之前的基准水平。新存储容量可用后,您只需为新存储容量付费。
下图显示了 Amazon FSx 在增加文件系统存储容量时采用的四个主要步骤。
您可以随时使用 Amazon FSx 控制台、CLI 或 API 跟踪存储优化、SSD 存储容量增加或 SSD IOPS 更新的进度。有关更多信息,请参阅 监控存储容量增加。
有关增加文件系统存储容量的需知事项
以下是增加存储容量时需要考虑的几个重要事项:
-
仅增加 – 您可以仅增加文件系统的存储容量;不得减少存储容量。
-
最低增量 – 每次增加的存储容量必须至少为文件系统当前存储容量的 10%,最大允许值为 65536 GiB。
-
最低吞吐能力 – 要增加存储容量,文件系统的最低吞吐能力必须为 16 MB/s。这是因为存储优化步骤是一个吞吐量密集型过程。
-
两次增加的间隔时间 – 在上次增加请求后 6 小时或存储优化过程完成(以较长的时间为准)之前,无法进一步增加文件系统的存储容量。存储优化可能需要几个小时到几天的时间才能完成。为了最大限度地缩短完成存储优化所需的时间,我们建议在增加存储容量之前先增加文件系统的吞吐能力(在存储扩展完成之后可以缩减吞吐能力),并在文件系统上流量最低时增加存储容量。
注意
某些文件系统事件可能会消耗磁盘 I/O 性能资源。例如:
存储容量扩展的优化阶段可能会增加磁盘吞吐量,并可能导致性能警告。有关更多信息,请参阅 性能警告和建议。
知道何时增加存储容量
当文件系统的可用存储容量不足时,请增加其存储容量。使用 FreeStorageCapacity
CloudWatch 指标来监控文件系统上的可用存储容量。您可以根据此指标创建 Amazon CloudWatch 警报,并在指标降至特定阈值以下时收到通知。有关更多信息,请参阅 使用 Amazon CloudWatch 监控。
我们建议在文件系统上始终保持至少 10% 的可用存储容量。使用所有存储容量可能会对性能产生负面影响,并可能会导致数据不一致。
可用存储容量低于您指定的定义阈值时,您可以自动增加文件系统的存储容量。使用 Amazon 开发的自定义 Amazon CloudFormation 模板部署实施自动化解决方案所需的所有组件。有关更多信息,请参阅 动态增加存储容量。
增加存储容量并提升文件系统性能
新存储容量可用后,Amazon FSx 会在后台运行存储优化流程,对大多数工作负载性能的影响微乎其微。具有大型活动数据集的写入密集型应用程序可能会暂时出现写入性能降低多达一半的情况。对于这些情况,您可以先增加文件系统的吞吐能力,然后再增加存储容量。这使您能够继续提供相同级别的吞吐量,满足应用程序的性能需求。有关更多信息,请参阅 在 FSx for Windows File Server 文件系统上管理吞吐能力。
管理文件系统存储类型
可以使用 Amazon Web Services Management Console 和 Amazon CLI 将文件系统存储类型从 HDD 更改为 SSD。将存储类型更改为 SSD 时,请注意,在上次请求更新后 6 小时或存储优化过程完成(以较长的时间为准)之前,无法再次更新文件系统配置。存储优化可能需要几小时到几天才能完成。为了最大限度地缩短这段时间,我们建议您在文件系统上的流量最小时更新存储类型。有关更多信息,请参阅 更新 FSx for Windows 文件系统的存储类型。
无法将文件系统存储类型从 SSD 更改为 HDD。如果要将文件系统的存储类型从 SSD 更改为 HDD,则需要将文件系统的备份还原到配置为使用 HDD 存储的新文件系统。有关更多信息,请参阅 将备份还原至新文件系统。
关于存储类型
您可以将 FSx for Windows File Server 文件系统配置为使用固态硬盘 (SSD) 或磁性硬盘驱动器 (HDD) 存储类型。
SSD 存储适用于大多数具有高性能要求和延迟敏感性的生产工作负载。这些工作负载的示例包括数据库、数据分析、媒体处理和业务应用程序。对于涉及大量最终用户、高 I/O 级别或包含大量小文件的数据集的使用案例,我们也建议使用 SSD。最后,如果您计划启用影子副本,我们建议您使用 SSD 存储。SSD 存储文件系统可配置和扩展 SSD IOPS,但 HDD 存储不能。
HDD 存储专为各种工作负载而设计,包括主目录、用户和部门文件共享以及内容管理系统。与 SSD 存储相比,HDD 存储的成本更低,但延迟更高,单位存储磁盘吞吐量和磁盘 IOPS 也更低。它可能适用于 I/O 要求较低的通用用户共享和主目录、不经常检索数据的大型内容管理系统(CMS)或包含少量大文件的数据集。
有关更多信息,请参阅 存储配置和性能。
管理 SSD IOPS
对于配置了 SSD 存储的文件系统,SSD IOPS 的数量决定了文件系统从磁盘读取数据以及向磁盘写入数据时的可用磁盘 I/O 数量,而不是缓存中的数据。您可以独立于存储容量选择和扩展 IOPS 数量。您可以预置的最大 SSD IOPS 取决于您为文件系统选择的存储容量和吞吐能力。如果您尝试将 SSD IOPS 提高到超出吞吐能力支持的上限,则可能需要增加吞吐能力才能获得这一级别的 SSD IOPS。有关更多信息,请参阅FSx for Windows File Server 性能 和在 FSx for Windows File Server 文件系统上管理吞吐能力。
以下是更新文件系统的预置 SSD IOPS 时需要了解的几个重要事项:
选择 IOPS 模式 - 有以下两种 IOPS 模式可供选择:
自动 – 选择此模式时,Amazon FSx 会自动扩展 SSD IOPS,保持每 GiB 存储容量 3 SSD IOPS,每个文件系统最多保持 40 万 SSD IOPS。
用户预置 – 选择此模式可以指定 SSD IOPS 的数量,范围在 96 - 40 万之间。为所有推出 Amazon FSx 的 Amazon Web Services 区域 指定每 GiB 存储容量 3–50 IOPS,或者在美国东部(弗吉尼亚州北部)、美国西部(俄勒冈州)、美国东部(俄亥俄州)、欧洲地区(爱尔兰)、亚太地区(东京)和亚太地区(新加坡)指定每 GiB 存储容量 3–500 IOPS。当选择用户预置的模式,且指定的 SSD IOPS 数量未达到每 GiB 至少 3 IOPS 的要求,请求将失败。对于更高级别的预置 SSD IOPS,如果每个文件系统每 GiB 的平均 IOPS 超过 3,则需付费。
存储容量更新 - 如果增加了文件系统的存储容量,而在默认情况下,所需的 SSD IOPS 数量大于当前用户预置的 SSD IOPS 级别,则 Amazon FSx 会自动将文件系统切换到“自动”模式,此时文件系统可满足每 GiB 存储容量 3 SSD IOPS 的最低要求。
吞吐能力更新 – 如果您提高了吞吐能力,且新吞吐能力支持的最大 SSD IOPS 高于用户预置的 SSD IOPS 级别,则 Amazon FSx 会自动将您的文件系统切换到自动模式。
增加 SSD IOPS 频率 – 在上次增加请求后 6 小时,或存储优化过程完成(以较长的时间为准)之前,无法进一步提高文件系统的 SSD IOPS、增加文件系统的吞吐能力或更新文件系统的存储类型。存储优化可能需要几个小时到几天的时间才能完成。为了最大限度地缩短完成存储优化所需的时间,我们建议在文件系统流量最小的时候扩展 SSD IOPS。
注意
请注意,仅以下 Amazon Web Services 区域 支持 4608 MBps 及以上级别吞吐能力:美国东部(弗吉尼亚州北部)、美国西部(俄勒冈州)、美国东部(俄亥俄州)、欧洲地区(爱尔兰)、亚太地区(东京)和亚太地区(新加坡)。
有关如何更新 FSx for Windows File Server 文件系统的预置 SSD IOPS 数量的更多信息,请参阅 更新文件系统的 SSD IOPS。
通过重复数据删除来降低存储成本
重复数据删除(通常简称为数据删重)有助于存储管理员降低与重复数据相关的成本。您可以使用 FSx for Windows File Server 来识别和消除冗余数据。大型数据集中通常存在冗余数据,这会增加数据存储成本。例如:
用户文件共享可能有多个相同或相似的文件副本。
软件开发共享可以有多个在各个内部版本中都保持不变的二进制文件。
您可以通过为文件系统启用重复数据删除功能来降低数据存储成本。重复数据删除只存储一次数据集的重复部分,从而减少或消除多余的数据。启用重复数据删除时默认启用数据压缩,从而在删除重复数据后进行数据压缩,以进一步节省空间。重复数据删除可优化冗余,而不会影响数据的保真度或完整性。重复数据删除会作为后台进程运行,能够持续、自动地扫描和优化您的文件系统,并且这对您的用户和连接的客户端是透明的。
能够通过重复数据删除节省的存储容量取决于数据集的性质,包括文件之间存在的重复数据量。通用文件共享通常可节省 50-60% 的成本。在共享中,节省范围为用户文档的 30–50% 到软件开发数据集的 70–80%。您可以使用 Measure-FSxDedupFileMetadata
远程 PowerShell 命令来衡量重复数据删除可能实现的节省量。
您还可以自定义重复数据删除以满足您的特定存储需求。例如,您可以将其配置为仅在特定文件类型上运行重复数据删除,也可以创建自定义作业计划。由于重复数据删除作业会消耗文件服务器资源,因此我们建议使用 Get-FSxDedupStatus
来监控重复数据删除作业的状态。
有关在文件系统上配置重复数据删除的信息,请参阅 管理重复数据删除。
有关重复数据删除的更多信息,请参阅 Microsoft 了解重复数据删除
警告
我们不建议您运行某些带有重复数据删除功能的 Robocopy 命令,因为这些命令可能会影响 Chunk Store 的数据完整性。有关更多信息,请参阅 Microsoft 重复数据删除互操作性
使用重复数据删除的最佳实践
以下是使用重复数据删除的一些最佳实践:
将重复数据删除作业安排在文件系统空闲时运行:默认计划包括每周六 2:45 UTC 进行
GarbageCollection
作业。如果您的文件系统中有大量数据流失,则可能需要几个小时才能完成。如果此时间不适合您的工作负载,请将此作业安排在您预计文件系统流量较低的时候运行。为完成重复数据删除配置足够的吞吐能力:更高的吞吐能力可提供更高级别的内存。Microsoft 建议每 1 TB 逻辑数据有 1 GB 的内存来运行重复数据删除。使用 Amazon FSx 性能表来确定与文件系统的吞吐能力关联的内存,并确保内存资源足以容纳您的数据大小。
自定义重复数据删除设置以满足您的特定存储需求并降低性能要求:您可以将优化限制在特定的文件类型或文件夹上运行,或者设置最小文件大小和期限以进行优化。要了解更多信息,请参阅 通过重复数据删除来降低存储成本。