我需要 Amazon DataSync 代理吗? - Amazon DataSync
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

我需要 Amazon DataSync 代理吗?

要使用 Amazon DataSync,您可能需要代理。代理是您在存储环境中部署的用于数据传输的虚拟机 (VM) 设备。

是否需要代理取决于多个因素,包括您要传输的存储类型或从中传输的存储类型、是否要传输以及 Amazon Web Services 区域 要在 Amazon Web Services 账户哪些存储之间进行传输。在进一步阅读之前,请检查是否 DataSync 支持您感兴趣的转账

确定 DataSync 支持您的转移场景后,请查看以下信息,以帮助您了解是否需要代理。

需要 DataSync 代理的情况

大多数需要 DataSync 代理的情况都涉及由您或其他云提供商管理的存储。

  • 在 Amazon 存储服务和本地存储之间传输

  • 在 Amazon EFS 或 Amazon 之间传输 FSx 并存储在其他云中

  • 传入或传出边缘存储

  • Amazon GovCloud (US) 在商业广告与来源 Amazon Web Services 区域 和目的地均为 Amazon EFS 或 Amazon 的广告之间转移 FSx。

不需要 DataSync代理的情况

无论是在同一 Amazon Web Services 区域 传输,还是跨区域传输,都存在不需要代理的情况。

  • 在同一个 Amazon 存储服务之间传输 Amazon Web Services 账户

  • 在 Amazon S3 和不同的 Amazon 存储服务之间传输 Amazon Web Services 账户

  • 在 Amazon S3 和其他云中的对象存储之间传输

  • Amazon GovCloud (US) 在商业广告 Amazon Web Services 区域 和来源或目的地均为 Amazon S3 的广告之间转移

使用多个 DataSync 代理

虽然大多数传输只需要一个代理,但使用多个代理可以加快包含数百万个文件或对象的大型数据集的传输速度。此类情况下,我们建议并列运行传输任务。这种方法将转移工作负载分散到多个任务中,每个任务都使用自己的代理。它还有助于缩短 DataSync 准备和传输数据所需的时间。有关更多信息,请参阅 使用多项任务对大型数据集进行分区

另一种选择(尤其是在有数百万个小文件的情况下)是使用具有传输位置的多个代理。例如,您最多可以将四个代理连接到本地网络文件系统 (NFS) 文件服务。尽管准备转移所需的 DataSync 时间不会改变,但此选项可能会加快您的传输速度。

无论采用哪种方法,都须注意这可能会增加存储上的 I/O 操作,并影响网络带宽。有关使用多个代理进行 DataSync 传输的更多信息,请参阅Amazon 存储博客

如果您正在考虑使用多个代理,请记住以下几点:

  • 在同一个位置使用多个代理并不能提供高可用性。所有与某个位置关联的代理都必须处于联机状态,才能开始传输任务。如果其中一个代理处于脱机状态,您就无法运行任务。

  • 如果您使用虚拟私有云 (VPC) 服务端点与 DataSync 服务通信,则所有代理都必须使用相同的终端节点和子网。

后续步骤

  • 如果您需要代理,请查看代理要求以了解哪些内容对您的存储环境有意义。

  • 如果您的传输不需要代理,则可以开始配置传输