重复数据删除故障排除 - Amazon FSx for Windows File Server
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

重复数据删除故障排除

重复数据消除问题的潜在原因有很多,如下一节所述。

重复数据删除不起作用

使用我们的重复数据删除文档,运行Get-FSxDedupStatus命令查看最新重复数据消除作业的完成状态。如果一个或多个作业失败,则文件系统的可用存储容量可能不会增加。

重复数据消除作业失败的最常见原因是内存不足。

  • 微软推荐最好是每 1 TB 逻辑数据有 1 GB 的内存(或者每 1 TB 的逻辑数据至少有 300 MB + 50 MB)。使用Amazon Fsx 绩效表以确定与文件系统的吞吐容量相关的内存,并确保内存资源足以满足数据大小。

  • 重复数据消除作业配置为 Windows 建议的默认内存分配 25%,这意味着对于具有 32 GB 内存的文件系统,8 GB 可用于重复数据消除。内存分配是可配置的(使用Set-FSxDedupSchedule带参数–Memory),但消耗额外的内存可能会影响文件系统性能。

  • 您可以修改重复数据消除作业的配置,以进一步降低内存需求。例如,您可以将优化限制为在特定的文件类型或文件夹上运行,或者设置最小文件大小和优化期限。我们还建议将重复数据消除作业配置为在文件系统负载最小的空闲期间运行。

如果重复数据消除作业没有足够的时间来完成,您也可能会看到错误。您可能需要更改作业的最长持续时间,如中所述修改重复数据消除计划.

如果重复数据消除作业长期失败,并且在此期间文件系统上的数据发生了变化,则后续重复数据消除作业可能需要更多资源才能首次成功完成。

重复数据消除值意外地设置为 0

的值SavedSpaceOptimizedFilesSavingsRate对于已配置重复数据消除的文件系统,意外地为 0。

在存储优化过程中,当您增加文件系统的存储容量时,可能会发生这种情况。当您增加文件系统的存储容量时,Amazon FSx 会在存储优化过程中取消现有的重复数据消除任务,该过程会将数据从旧磁盘迁移到较大的新磁盘。存储优化任务完成后,Amazon FSx 将恢复文件系统上的重复数据消除。有关增加存储容量和存储优化的更多信息,请参阅管理存储容量.

删除文件后未释放文件系统上的空间

重复数据消除的预期行为是,如果删除的数据是重复数据消除节省了空间的内容,那么在垃圾回收作业运行之前,文件系统上的空间实际上不会被释放。

您可能会发现有用的做法是,在删除大量文件后立即设置运行垃圾回收作业的计划。垃圾回收作业完成后,您可以将垃圾回收计划设置回其原始设置。这样可以确保您可以立即快速看到删除的空间。

使用以下过程将垃圾回收作业设置为在 5 分钟后运行。

  1. 要验证是否已启用重复数据消除,请使用Get-FSxDedupStatus命令。有关命令及其预期输出的更多信息,请参阅查看节省的空间量.

  2. 使用以下命令设置从现在起 5 分钟后运行垃圾回收作业的计划。

    $date=get-date $DayOfWeek = $date.DayOfWeek $Hour = $date.Hour $Minute = $date.Minute + 5 $Time = "${Hour}:${Minute}" Invoke-Command -ComputerName ${RPS_ENDPOINT} -ConfigurationName FSxRemoteAdmin -ScriptBlock { Set-FSxDedupSchedule -Name "WeeklyGarbageCollection" -Days $Using:DayOfWeek -Start $Using:Time -DurationHours 9 }
  3. 在垃圾回收作业运行并释放空间后,将计划设置回其原始设置。