我需要 Amazon DataSync 经纪人吗? - Amazon DataSync
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

我需要 Amazon DataSync 经纪人吗?

要使用 Amazon DataSync,您可能需要代理。代理是一种虚拟机(VM)设备,您可以将其部署在存储环境中,用于数据传输。

是否需要代理取决于多个因素,包括您要传输的存储类型或从中传输的存储类型、是否要传输以及 Amazon Web Services 区域 要在 Amazon Web Services 账户哪些存储之间进行传输。在进一步阅读之前,请检查是否 DataSync 支持您感兴趣的转账

确定 DataSync 支持您的转移场景后,请查看以下信息,以帮助您了解是否需要代理。

需要 DataSync 代理的情况

大多数需要 DataSync 代理的情况都涉及由您或其他云提供商管理的存储。

  • 在 Amazon 存储服务和本地存储之间传输

  • 在 Amazon EFS 或 Amazon 之间传输 FSx 并存储在其他云中

  • Amazon GovCloud (US) Region 在商业广告与来源 Amazon Web Services 区域 和目的地均为 Amazon EFS 或 Amazon 的广告之间转移 FSx

不需要 DataSync代理的情况

无论是在同一 Amazon Web Services 区域 传输,还是跨区域传输,都存在不需要代理的情况。

  • 在同一个 Amazon 存储服务之间传输 Amazon Web Services 账户

  • 在 Amazon S3 和不同的 Amazon 存储服务之间传输 Amazon Web Services 账户

  • 在 Amazon S3 与其他云的对象存储之间传输

  • Amazon GovCloud (US) 在商业广告 Amazon Web Services 区域 和来源或目的地均为 Amazon S3 的广告之间转移

为您的任务模式选择代理

DataSync 任务在 “基本” 模式或 “增强” 模式下运行。基本模式任务需要基本模式代理。增强模式任务需要增强模式代理。

基本模式支持在向以下位置复制或从以下位置复制时使用代理:

  • NFS

  • SMB

  • HDFS

  • 对象存储(包括其他云)

  • 天蓝色斑点

增强模式支持使用代理向以下位置的 Amazon S3 进行传送或传出:

  • NFS

  • SMB

有关更多信息,请参阅 为数据传输选择任务模式

使用多个 DataSync 代理

虽然大多数传输只需要一个代理,但对于包含数百万个文件或对象的大型数据集,使用多个代理可以加快传输速度。在这种情况下,我们建议并行运行传输任务,每个任务使用一个代理。这种方法将传输工作负载分散到多个任务,每个任务都使用自己的代理。它还有助于缩短 DataSync 准备和传输数据所需的时间。有关更多信息,请参阅 使用多个任务对大型数据集进行分区

另一种方案(尤其是在有数百万个小文件的情况下)是在一个传输位置使用多个代理。例如,您最多可以将四个代理连接到本地网络文件系统 (NFS) 文件服务。尽管准备转移所需的 DataSync 时间不会改变,但此选项可能会加快您的传输速度。

无论采用哪种方法,都要注意,这可能会增加存储 I/O 操作并影响网络带宽。有关使用多个代理进行 DataSync 传输的更多信息,请参阅Amazon 存储博客

如果您正在考虑使用多个代理,请记住以下几点:

  • 一个地点最多可以分配四个基本模式代理和最多四个增强模式代理。使用该位置的任务将仅使用与配置的任务模式相对应的代理。

  • 在同一个位置使用多个代理并不能提供高可用性。所有与某个位置关联的代理都必须处于联机状态,才能开始传输任务。如果其中一个代理处于脱机状态,您就无法运行任务。

  • 如果您使用虚拟私有云 (VPC) 服务端点与 DataSync 服务通信,则所有代理都必须使用相同的终端节点和子网。

后续步骤

  • 如果您需要代理,请查看代理要求,以了解对您的存储环境有意义的要素。

  • 如果您的传输不需要代理,则可以开始配置传输