Amazon DataSync 的工作原理 - Amazon DataSync
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon DataSync 的工作原理

直观地了解Amazon DataSync工作原理并学习关键概念,以帮助您快速移动数据。

DataSync 建筑

下图显示了 DataSync 通常传输存储数据的方式和位置。

有关 DataSync 支持的存储系统和服务的完整列表,请参见与Amazon DataSync地点合作

在本地存储和之间传输Amazon

下图高度概括了在 “自我管理、本地存储系统和” 之间 DataSync 传输文件Amazon Web Services。


                    数据从本地存储系统传输到支持的存储资源(例如 Amazon S3Amazon 存储桶或 Amazon EFS 文件系统)的常见 DataSync 场景概述。

下图说明了一种常见的 DataSync 配置:

  • 从本地存储系统复制数据的 DataSync 代理。

  • 数据Amazon通过传输层安全性(TLS)移入。

  • DataSync 将数据复制到支持的Amazon存储服务。

在Amazon存储服务之间传输

下图高度概括此处之间 DataSync Amazon Web Services传输文件的高级概述Amazon Web Services 账户。


                    在Amazon存储资源(例如 Amazon S3 存储桶或 Amazon EFS 文件系统)之间传输数据的常见 DataSync 场景概述。

下图说明了一种常见的 DataSync 配置:

  • DataSync 从支持的Amazon存储服务复制数据。

  • Amazon Web Services 区域通过 TLS 传输数据。

  • DataSync 将数据复制到支持的Amazon存储服务。

在Amazon存储服务之间传输时(无论是同一服务Amazon Web Services 区域还是跨存储服务Amazon Web Services 区域),您的数据将保留在Amazon网络中,不会通过公共互联网传输。

重要

您需要为之间传输的数据付费Amazon Web Services 区域。这是按从源区域向目标区域传输数据时计费的。有关更多信息,请参阅数据传输定价

在云存储系统和Amazon存储服务之间传输

使用 DataSync,您可以在云存储系统和之间传输数据Amazon Web Services。在这种情况下,云存储系统可以包括:

  • 托管的自管理存储系统Amazon(例如,您的虚拟私有云中的 NFS 共享Amazon)。

  • 由其他云提供商托管的存储系统或服务。

有关更多信息,请参阅:

概念和术语

熟悉 DataSync 功能。

代理

代理是虚拟机 (VM) 或 Amazon EC2 实例, DataSync 用于在传输期间读取和写入存储。

你可以在 VMware ESXi、基于 Linux 内核的虚拟机 (KVM) 或微软 Hyper-V 虚拟机管理程序上部署代理。如果您使用 Amazon EC2 实例,则在(VPC)中部署代理程序Amazon。

要开始使用,请参阅创建代理

位置

位置用于标识您从何处复制数据或将数据复制到何处。每次 DataSync 传输(也称为任务)都有源位置和目标位置。有关更多信息,请参阅与Amazon DataSync地点合作

任务

任务描述了 DataSync 传输。它标识了源位置和目标位置以及有关如何在这些位置之间复制数据的详细信息。您还可以指定任务如何处理元数据、已删除的文件、权限以及其他选项。

任务执行

任务执行是 DataSync 任务的单独运行。任务执行有几个阶段。有关更多信息,请参阅任务执行状态

如何 DataSync 传输文件和对象

开始传输时, DataSync 检查源和目标存储系统以确定要同步的内容。它通过递归扫描两个系统的内容和元数据来识别两者之间的差异来做到这一点。这可能只需要几分钟或几个小时,具体取决于涉及的文件或对象的数量(包括存储系统的性能)。

DataSync 然后根据您设置传输的方式开始将数据(包括元数据)从源移动到目标。例如,在传输过程中 DataSync 始终执行数据完整性检查。传输完成后, DataSync 还可以验证不同地点之间的整个数据集或仅验证您复制的数据。(在大多数情况下,我们建议仅验证传输的内容。) 也有筛选要传输的内容的选项。

如何 DataSync 验证数据完整性

DataSync 在本地计算源和目标存储系统中每个文件或对象的校验和并进行比较。此外,还 DataSync 比较源和目标中每个文件或对象的元数据。如果两者之间存在差异,验证将失败,显示精确指定失败内容的错误代码。例如,您可能会看到Checksum failure、、Metadata failureFiles were addedFiles were removed、等错误代码。

有关更多信息,请参阅配置如何Amazon DataSync验证数据完整性

如何 DataSync 处理打开和锁定的文件

尝试传输正在使用或锁定的文件时,请记住以下几点:

  • 通常, DataSync 可以不受任何限制地传输打开的文件。

  • 如果文件在传输过程中处于打开状态并正在写入,则 DataSync 可以在传输任务的验证阶段检测到这种不一致性。要获取文件的最新版本,必须再次运行任务。

  • 如果文件被锁定而服务器 DataSync 阻止打开它,则在传输过程中 DataSync 跳过该文件并记录错误。

  • DataSync 无法锁定或解锁文件。