重复数据删除问题 - Amazon FSx for Windows File Server
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

重复数据删除问题

如下一节所述,重复数据消除问题有许多潜在原因。

重复数据消除不起作用

使用我们的中的说明重复数据删除文档,运行Get-FSxDedupStatus命令来查看最近的重复数据消除作业的完成状态。如果一个或多个作业失败,您可能看不到文件系统上的可用存储容量增加。

重复数据消除作业失败的最常见原因是内存不足。

  • 微软推荐最佳情况下,每 1 TB 逻辑数据具有 1 GB 的内存(或每 1 TB 逻辑数据至少 300 MB + 50 MB)。使用Amazon FSx 绩效表以确定与文件系统吞吐量关联的内存,并确保内存资源足以满足数据的大小。

  • 重复数据删除作业配置了 Windows 推荐的 25% 内存分配默认值,这意味着对于具有 32 GB 内存的文件系统,8 GB 可用于重复数据删除。内存分配是可配置的(使用Set-FSxDedupSchedule带参数的命令–Memory),但是消耗额外的内存可能会影响文件系统的性能。

  • 您可以修改重复数据消除作业的配置,以进一步降低内存需求。例如,您可以将优化限制为在特定的文件类型或文件夹上运行,或者设置最小文件大小和优化时间。我们还建议将重复数据删除作业配置为在文件系统负载最小的空闲期间运行。

如果重复数据消除作业没有足够的时间来完成,也可能会看到错误 您可能需要更改作业的最长持续时间,如中所述修改重复数据消除计划.

如果重复数据消除作业长期失败,并且在此期间文件系统上的数据发生了更改,则后续的重复数据消除作业可能首次成功完成需要更多资源。

重复数据删除值意外设置为 0

以下的值SavedSpaceOptimizedFilesSavingsRate对于已在其中配置了重复数据消除的文件系统而言,意外为 0。

当您增加文件系统的存储容量时,可能会在存储优化过程中发生这种情况。当您增加文件系统的存储容量时,Amazon FSx 会在存储优化过程中取消现有的重复数据消除作业,这将数据从旧磁盘迁移到新的、更大的磁盘。存储优化任务完成后,Amazon FSx 将在文件系统上恢复重复数据消除。有关增加存储容量和存储优化的更多信息,请参阅管理存储容量.

删除文件后,文件系统上的空间不会释放

重复数据消除的预期行为是,如果删除的数据是重复数据删除节省了空间的东西,那么在垃圾回收作业运行之前,实际上不会释放文件系统上的空间。

您可能认为有用的一种做法是,在删除大量文件后立即设置运行垃圾回收作业的时间表。垃圾回收作业完成后,您可以将垃圾收集时间表设置回原始设置。这可以确保您可以立即从删除内容中快速看到空间。

使用以下过程将垃圾回收作业设置为在 5 分钟内运行。

  1. 要验证是否已启用重复数据消除功能,请使用Get-FSxDedupStatus命令。有关命令及其预期输出的更多信息,请参阅查看已节省的空间量.

  2. 使用以下命令设置 5 分钟后运行垃圾回收作业的时间表。

    $date=get-date $DayOfWeek = $date.DayOfWeek $Hour = $date.Hour $Minute = $date.Minute + 5 $Time = "${Hour}:${Minute}" Invoke-Command -ComputerName ${RPS_ENDPOINT} -ConfigurationName FSxRemoteAdmin -ScriptBlock { Set-FSxDedupSchedule -Name "WeeklyGarbageCollection" -Days $Using:DayOfWeek -Start $Using:Time -DurationHours 9 }
  3. 在垃圾回收作业运行并释放空间后,将时间表设置回原始设置。