Amazon DataSync 使用传输文件 - Amazon Snowcone 用户指南
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon DataSync 使用传输文件

Amazon DataSync 是一项在线数据传输服务,可简化、自动化和加速通过互联网或从 Amazon 存储服务中复制大量数据。 Amazon Direct Connect DataSync 代理已预先安装在您的 Snowcone 设备上。它可以在设备和亚马逊 S3 存储桶、亚马逊 EFS 和适用于 Windows File Server 的亚马逊 FSx 之间传输数据。 Amazon DataSync 自动处理文件和对象的移动、安排数据传输、监控传输进度、加密、验证数据传输以及将任何问题通知客户。

在启动 DataSync 代理之前,请在 Snowcone 设备上启用网络文件系统 (NFS)。请参阅使用自动配置NFS接口 Amazon OpsHub启动NFS和限制访问

在 Snowcone 作业准备期间, DataSync 代理将作为 AMI 预安装在你的 Snowcone 设备上。要将数据在线传输到 Amazon,请将 Snowcone 设备连接到外部网络,然后使用 Amazon OpsHub 或 CLI 启动代理 DataSync AMI。在 Amazon 管理控制台上激活 DataSync 代理或使用 CLI,然后在 Snowcone NFS 商店和适用于 Windows 文件服务器的 Amazon S3、Amazon EFS 或 Amazon FSx 之间设置在线数据传输任务。

你可以使用在 Snowcon Amazon DataSync e 上运行来实现以下目的:

  • 边缘计算应用程序,收集数据、处理数据,从而获得即时见解,然后将数据在线传输到 Amazon。

  • 将传感器或机器持续生成的在线数据传输到 Amazon 工厂或其他边缘位置。

  • 将 Amazon 存储服务中的媒体、科学或其他内容在线分发给您的合作伙伴和客户。

  • 通过将媒体、科学或其他内容从边缘位置在线传输到,从而汇总内容 Amazon。

  • 确保为 DataSync 代理的 VNI 使用静态 IP 地址。使用 DHCP 可能会导致问题,因为任何设备重启都可能意味着您使用的是不同的 IP 地址,因此需要在Amazon 云端重新配置 DataSync 代理和 DataSync激活。

  • 要在 Snowcone 上使用 Datasync 代理,你需要确保 “AllowedHosts” 条目在 Snowcone 上的 NFS 配置中包含 DataSync 代理 IP 地址。这可能需要您停止并重新启动 Snowcone 上的 NFS 服务才能启用 DataSync代理。

  • 每当停止 NFS 服务时,也应停止 DataSync 代理。注意:如果您停止允许列出的 DataSync 代理的 NFS 服务,它将阻止 Datasync 代理运行。

  • 查看 Amazon DataSync 任务限额,了解 Snowcone 设备每项任务的最大文件数。如果您超过 200,000 个文件限制,该 DataSync 任务将报告内存分配错误并中止执行。

对于一次性边缘计算或数据传输工作流程,或者对于没有广域网 (WAN) 链路或广域网带宽不足的边缘位置的 Snowcone 工作流程,您应该将 Snowcone 设备运回 Amazon 以完成数据传输。