使用 Amazon DataSync 传输文件 - Amazon Snowcone 用户指南
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用 Amazon DataSync 传输文件

Amazon DataSync 是一项在线数据传输服务,可简化、自动化和加速通过互联网或 Amazon Direct Connect 向 Amazon 存储服务以及从中复制大量数据的过程。DataSync 代理预安装在 Snowcone 设备上。它可以在设备与 Amazon S3 存储桶、Amazon EFS 和适用于 Windows File Server 的 Amazon FSx 之间传输数据。Amazon DataSync 自动处理文件和对象的移动、安排数据传输、监控传输进度、加密、验证数据传输,并在出现任何问题时通知客户。

在启动 DataSync 代理之前,请在 Snowcone 设备上启用网络文件系统 (NFS)。请参阅 自动配置 NFS 接口启动 NFS 并限制访问

在 Snowcone 作业准备期间,DataSync 代理已作为 AMI 预安装在您的 Snowcone 设备上。要将数据在线传输到 Amazon,请将 Snowcone 设备连接到外部网络,并使用 Amazon OpsHub 或 CLI 启动 DataSync 代理 AMI。在 Amazon 管理控制台中或使用 CLI 激活 DataSync 代理,并在 Snowcone NFS 存储和 Amazon S3、适用于 Windows File Server 的 Amazon FSx 之间设置在线数据传输任务。

您可以使用在 Snowcone 上运行的 Amazon DataSync 进行以下操作:

  • 边缘计算应用程序,收集数据、处理数据,从而获得即时见解,然后将数据在线传输到 Amazon。

  • 将传感器或计算机连续在线生成的数据传输到位于工厂中或其他边缘站点的 Amazon。

  • 从 Amazon 存储服务在线向合作伙伴和客户分发媒体、科学等内容。

  • 通过将媒体、科学等内容从边缘站点在线传输到 Amazon 来汇总内容。

  • 确保为 DataSync 代理的 VNI 使用静态 IP 地址。使用 DHCP 可能会导致问题,因为任何设备重启都可能意味着要使用不同的 IP 地址,进而需要在 Amazon 云中重新配置 DataSync 代理和 DataSync 激活。

  • 要在 Snowcone 上使用 Datasync 代理,您需要确保“AllowedHosts”条目在 Snowcone 上的 NFS 配置中包含 DataSync 代理 IP 地址。这可能需要您停止并重启 Snowcone 上的 NFS 服务来启用 DataSync 代理。

  • 无论何时停止 NFS 服务,您都应同时停止 DataSync 代理。注意:如果您停止了已允许列出的 DataSync 代理的 NFS 服务,它将停止 DataSync 代理的运行。

  • 查看 Amazon DataSync 任务限额,了解 Snowcone 设备每项任务的最大文件数。如果您超过了 200,000 个文件的限制,DataSync 任务将报告内存分配错误并中止执行。

对于一次性边缘计算或数据传输工作流程,或者对于没有广域网 (WAN) 链路或广域网带宽不足的边缘站点的 Snowcone 工作流程,您应该将 Snowcone 设备运回 Amazon 以完成数据传输。