解决重复数据删除问题 - Amazon FSx for Windows File Server
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

解决重复数据删除问题

重复数据删除问题的潜在原因有很多,如下一节所述。

重复数据删除不起作用

按照我们的重复数据删除文档中的说明,运行Get-FSxDedupStatus命令以查看最近重复数据删除作业的完成状态。如果一项或多项任务失败,则文件系统的可用存储容量可能不会增加。

重复数据删除作业失败的最常见原因是内存不足。

  • 微软建议每 1 TB 逻辑数据最好有 1 GB 的内存(或每 1 TB 逻辑数据至少有 300 MB + 50 MB)。使用 Amazon FSx 性能表来确定与文件系统的吞吐容量相关的内存,并确保内存资源足以容纳数据的大小。

  • 重复数据删除作业配置为 Windows 建议的默认内存分配 25%,这意味着对于具有 32 GB 内存的文件系统,将有 8 GB 可用于重复数据消除。内存分配是可配置的(使用带参数的Set-FSxDedupSchedule命令–Memory),但是消耗额外的内存可能会影响文件系统的性能。

  • 您可以修改重复数据删除作业的配置,以进一步降低内存需求。例如,您可以限制优化在特定的文件类型或文件夹上运行,或者设置最小文件大小和优化期限。我们还建议将重复数据删除作业配置为在文件系统负载最小的空闲时段运行。

如果重复数据删除作业没有足够的时间完成,您也可能会看到错误。您可能需要更改作业的最长持续时间,如中所述修改重复数据删除计划

如果重复数据消除作业长期失败,并且在此期间文件系统上的数据发生了变化,则后续的重复数据消除作业可能需要更多资源才能首次成功完成。

重复数据删除值意外设置为 0

对于已配置重复数据删除的文件系统,SavedSpaceOptimizedFilesSavingsRate的值意外地为 0。

在存储优化过程中,当您增加文件系统的存储容量时,可能会发生这种情况。当您增加文件系统的存储容量时,Amazon FSx 会在存储优化过程中取消现有的重复数据删除作业,这会将数据从旧磁盘迁移到新的更大的磁盘。存储优化任务完成后,Amazon FSx 将恢复文件系统的重复数据删除。有关增加存储容量和存储优化的更多信息,请参阅管理存储容量

删除文件后,文件系统上的空间未释放

重复数据删除的预期行为是,如果删除的数据是由重复数据删除节省空间的,那么在垃圾收集作业运行之前,文件系统上的空间实际上不会被释放。

您可能会觉得有用的做法是设置时间表,以便在删除大量文件后立即运行垃圾回收作业。垃圾回收作业完成后,您可以将垃圾回收计划设置回其原始设置。这样可以确保您可以立即快速看到删除后的空间。

使用以下步骤将垃圾收集作业设置为在 5 分钟后运行。

  1. 要验证重复数据删除是否已启用,请使用Get-FSxDedupStatus命令。有关命令及其预期输出的更多信息,请参阅查看节省的空间量

  2. 使用以下方法设置从现在起 5 分钟后运行垃圾回收作业的时间表。

    $date=get-date $DayOfWeek = $date.DayOfWeek $Hour = $date.Hour $Minute = $date.Minute + 5 $Time = "${Hour}:${Minute}" Invoke-Command -ComputerName ${RPS_ENDPOINT} -ConfigurationName FSxRemoteAdmin -ScriptBlock { Set-FSxDedupSchedule -Name "WeeklyGarbageCollection" -Days $Using:DayOfWeek -Start $Using:Time -DurationHours 9 }
  3. 运行垃圾回收作业并释放空间后,将时间表设置回其原始设置。