对 DataSync 任务问题进行故障排除 - Amazon DataSync
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

对 DataSync 任务问题进行故障排除

使用以下信息来帮助您解决与 Amazon DataSync 任务和任务执行有关的问题。这些问题可能包括任务设置问题、任务执行停滞以及数据无法按预期传输。

错误: SyncOption 值无效。选项: TransferMode,PreserveDeletedFiles,值:全部,移除。

当您创建或编辑 DataSync 任务并选择 “传输所有数据” 选项并取消选择 “保留已删除文件” 选项时,就会发生此错误。

当您传输所有数据时, DataSync 不会扫描您的目标位置,也不知道要删除什么。

任务执行失败并EniNotFound出现错误

如果您删除虚拟私有云(VPC)中任务的网络接口之一,则会发生此错误。如果您的任务已安排或已排队,则如果缺少传输数据所需的网络接口,则该任务将失败。

要采取的操作

要解决此问题,您具有以下选项:

  • 手动重启任务。执行此操作时, DataSync 将创建运行任务所需的所有缺失网络接口。

  • 如果您需要清理 VPC 中的资源,请确保不要删除与您仍在使用的 DataSync 任务相关的网络接口。

    要查看分配给任务的网络接口,请执行以下操作之一:

    • 使用 DescribeTask 操作。您可以在 SourceNetworkInterfaceArnsDestinationNetworkInterfaceArns 响应元素中查看网络接口。

    • 在 Amazon EC2 控制台中,搜索您的任务 ID(例如task-f012345678abcdef0)以查找其网络接口。

  • 考虑不要自动运行任务。这可能包括禁用任务队列或调度(通过 DataSync 或自定义自动化)。

任务执行失败,出现 “无法分配内存” 错误

当您的 DataSync 任务因无法分配内存错误而失败时,这可能意味着一些不同的含义。

要采取的操作

请尝试以下操作,直到问题不再出现为止:

任务执行处于启动状态,但似乎什么也没发生

您的 DataSync 任务可能会停留在 “启动” 状态,这通常是因为代理已关闭电源或已断开网络连接。

要采取的操作

确保您的代理的状态为在线。如果代理处于离线状态,请确保其已开机。

如果代理已打开电源并且任务仍停滞在正在启动状态,则很可能是您的代理和 Amazon之间出现网络连接问题。有关如何测试网络连接的信息,请参阅验证您的代理与 DataSync服务的连接

如果您仍遇到此问题,请参阅 我不知道我的代理出了什么问题。有人能帮我吗?

任务执行似乎停留在准备状态

DataSync 传输任务处于 “准备中” 状态的时间取决于传输源和目标中的数据量以及这些存储系统的性能。

任务启动时, DataSync 执行递归目录列表以发现源和目标中的所有文件、对象、目录和元数据。 DataSync 使用这些列表来识别存储系统之间的差异并确定要复制的内容。此过程可能耗时数分钟甚至数小时。

要采取的操作

您无需做任何事情。只需继续等待直至任务状态变为正在传输。如果状态仍未变更,请联系 Amazon Web Services 支持 中心

任务执行在传输完成前停止

如果您的 DataSync 任务执行提前停止,则您的任务配置中可能包含已禁用的 Amazon Web Services 账户。 Amazon Web Services 区域

要采取的操作

执行以下操作以重新运行任务:

  1. 检查任务区域的选择加入状态,并确保它们已启用。

  2. 再次启动任务

任务执行的时间戳不匹配

在查看 DataSync 控制台或 Amazon CloudWatch 日志时,您可能会注意到 DataSync 任务执行的开始和结束时间与您在其他监控工具中看到的时间戳不匹配。这是因为控制台和 CloudWatch 日志会考虑任务执行在启动或排队状态下所花费的时间,而其他一些工具则没有。

在比较 DataSync 控制台或 CloudWatch 日志与以下位置之间的执行时间戳时,您可能会注意到这种差异:

  • 传输中涉及的文件系统的日志

  • DataSync 写入到 Amazon S3 对象的最后修改日期

  • 来自 DataSync 代理的网络流量

  • 亚马逊 EventBridge 活动

任务执行失败并NoMem出现错误

您要传输的数据集可能太大 DataSync。如果您看到此错误,请联系 Amazon Web Services 支持 中心

无法将对象传输到 Azure Blob Storage 有user metadata key错误

从 S3 存储桶传输到时 Azure Blob Storage,您可能会看到以下错误:

[ERROR] Failed to transfer file /user-metadata/file1: Azure Blob user metadata key must be a CSharp identifier

这表示 /user-metadata/file1 包含的用户元数据没有使用有效的 C# 标识符。有关更多信息,请参阅 Microsoft 文档

目标位置有一个/.aws-datasync文件夹

DataSync /.aws-datasync在目标位置创建一个名为的文件夹,以帮助简化数据传输。

虽然 DataSync 通常会在传输后删除此文件夹,但在某些情况下可能不会发生这种情况。

要采取的操作

只要没有正在执行的任务将数据复制到该位置,您就可以随时删除此文件夹。

任务执行完成后,您会看到以下错误:

Transfer and verification completed. Selected files transferred except for files skipped due to errors. If no skipped files are listed in Cloud Watch Logs, please contact AWS Support for further assistance.

在 SMB 存储系统(例如 SMB 文件服务器和 Ama FSx zon for Windows 文件服务器文件系统)之间传输时,您可能会在日志中看到以下警告和错误: CloudWatch

[WARN] Failed to read metadata for file /appraiser/symlink: No data available [ERROR] Failed to read metadata for directory /appraiser/symlink: No data available
要采取的操作

DataSync 不支持在这些位置类型之间传输符号链接(或硬链接)。有关更多信息,请参阅 由 Amazon DataSync复制的链接和目录

任务报告错误

在尝试使用任务报告监控您的 DataSync传输时,您可能会遇到以下错误之一。

错误消息 解决办法

文件路径超过了 4096 个字符的最大长度。无法写入任务报告

不适用(DataSync 无法传输路径超过 4,096 字节的文件)

有关更多信息,请参阅 存储系统、文件和对象限制

由于存储桶或 IAM 角色无效,无法将任务报告上传到 S3

检查 DataSync IAM 角色是否具有将任务报告上传到您的 S3 存储桶的权限。

生成任何任务报告之前出现执行错误

检查您的CloudWatch 日志,确定任务执行失败的原因。