重复数据删除问题排查 - Amazon FSx for Windows File Server
重复数据删除不起作用重复数据删除值意外设置为 0删除文件后，文件系统上的空间未被释放
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

重复数据删除问题排查

重复数据删除问题的潜在原因有很多，如下一部分所述。

重复数据删除不起作用

按照我们的重复数据删除文档中的说明，运行 Get-FSxDedupStatus 命令以查看最新重复数据删除作业的完成状态。如果一个或多个作业失败，则文件系统的可用存储容量可能不会增加。

重复数据删除作业失败的最常见原因是内存不足。

  • Microsoft 建议最好每 1 TB 的逻辑数据有 1 GB 的内存（或者每 1 TB 的逻辑数据至少有 300 MB + 50 MB 的内存）。使用 Amazon FSx 性能表来确定与文件系统的吞吐能力关联的内存，并确保内存资源足以容纳您的数据大小。

  • 重复数据删除作业使用 Windows 推荐的默认 25% 内存分配配置，这意味着对于具有 32 GB 内存的文件系统，8 GB 可用于重复数据删除。内存分配是可以配置的（使用带参数 –Memory 的命令 Set-FSxDedupSchedule），但是消耗额外的内存可能会影响文件系统的性能。

  • 您可以修改重复数据删除作业的配置，以进一步降低内存需求。例如，您可以将优化限制为针对特定文件类型或文件夹运行，或者设置优化的最小文件大小和期限。我们还建议将重复数据删除作业配置为在文件系统负载最小的空闲期间运行。

如果重复数据删除作业没有足够的时间完成，也可能会出错。您可能需要更改作业的最长持续时间，如 修改重复数据删除计划 中所述。

如果重复数据删除作业已经失败了很长时间，并且在此期间文件系统上的数据发生了变化，那么后续的重复数据删除作业可能需要更多资源才能首次成功完成。

重复数据删除值意外设置为 0

对于已配置重复数据删除的文件系统，SavedSpace 和 OptimizedFilesSavingsRate 的值意外设为 0。

在存储优化过程中，当您增加文件系统的存储容量时，可能会发生这种情况。当您增加文件系统的存储容量时，Amazon FSx 会在存储优化过程中取消当前的重复数据删除作业，该过程会将数据从旧磁盘迁移到更大的新磁盘。存储优化作业完成后，Amazon FSx 将恢复文件系统的重复数据删除。有关增加存储容量和存储优化的更多信息，请参阅管理存储容量。

删除文件后，文件系统上的空间未被释放

重复数据删除的预期行为是，如果删除的数据是重复数据删除节省空间的内容，那么文件系统上的空间实际上要在垃圾回收作业运行后才会释放。

您可能会发现，将计划设置为在删除大量文件后立即运行垃圾回收作业很有用。垃圾回收作业完成后，您可以将垃圾回收计划恢复回其原始设置。这便可以确保您能立即快速查看删除内容释放的空间。

按照以下步骤将垃圾回收作业设置为 5 分钟后运行。

  1. 要验证是否启用了重复数据删除，请使用 Get-FSxDedupStatus 命令。有关命令及其预期输出的更多信息，请参阅查看节省的空间量。

  2. 按照以下步骤将计划设置为垃圾回收作业在从现在起 5 分钟后运行。

    $date=get-date
$DayOfWeek = $date.DayOfWeek
$date = $date.AddMinutes(5)
$Time = $date.ToShortTimeString().Split(' ')[0]
Invoke-Command -ComputerName ${RPS_ENDPOINT} -ConfigurationName FSxRemoteAdmin -ScriptBlock {   
    Set-FSxDedupSchedule -Name "WeeklyGarbageCollection" -Days $Using:DayOfWeek -Start $Using:Time -DurationHours 9
}

  3. 在运行垃圾回收作业并释放空间后，将计划恢复回其原始设置。