规划您的大型传输 - Amazon Snowball Edge 开发人员指南
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

规划您的大型传输

我们建议您计划并校准在Amazon Snowball Edge您现场拥有的设备以及您的服务器,请遵循以下部分中的指南。

第 1 步:了解您要迁移到云中的目标

在您使用创建第一个作业之前Amazon Snowball Edge请确保您了解要传输数据的大小、数据当前的存储位置以及要将数据传输到的目标位置。对于 PB 级或更大型的数据传输,在您的Amazon Snowball边缘设备到达。

如果要将数据迁移到Amazon Web Services 云第一次,我们建议您设计一个云迁移模型。云迁移不会在一夜之间进行。这需要一个仔细的规划过程,以确保所有系统都能按预期运行。

完成此步骤后,您应了解要迁移到云中的数据总量。

第 2 步:计算您的目标传输速率

估算出您能够以多快的速度将数据传输到与各个服务器连接的 Snowball Edge 设备,这一点很重要。这一估算出的速度即是您的目标传输速率。该速率指您可以预计数据能以什么速度迁移到Amazon Snowball Edge设备考虑到您的本地网络架构的现实情况。

注意

对于大型数据传输,建议使用 Amazon S3 接口传输您的数据。

通过计算您的一小部分具有代表性的数据传输到,以此获取基准传输速率。Snowball Edge设备,或者通过创建 10 GB 的示例文件来衡量吞吐量。

在确定您的目标传输速度时,请谨记您可以通过更改网络速度、要传输文件的大小以及从本地服务器读取数据的速度来更改速度。Amazon S3 据复制到Amazon Snowball Edge在条件允许的情况下尽快设备。

第 3 步:确定多少Amazon Snowball您需要的 Edge 设备

使用计划移动到云的总数据量、估计的传输速度以及您希望允许将数据移动到的天数Amazon中,确定大规模数据迁移所需的 Snowball Edge 设备数量。根据设备类型,Snowball Edge 设备有大约 39.5 TB 或 80 TB 的可用空间。例如,如果要将 300 TB 的数据移动到Amazon超过 10 天,你的传输速度为 250 MB/s,您需要四个 Snowball Edge 设备.

第 4 步:创建任务

你知道有多少之后Amazon Snowball您需要的 Edge 设备,您可以为各个设备创建导入作业。由于每个Amazon Snowball Edge设备导入任务仅涉及一个 Snowball Edge 设备,您需要创建多个导入任务。有关更多信息,请参阅 。创建Amazon Snowball Edge作业.

第 5 步:将您的数据分为传输分段

对于涉及多个任务的大型数据传输,其最佳实践是将数据分为数个易于管理的小型数据传输分段。这允许您一次传输一个分段或 parallel 传输多个分段。在规划分段时,请确保各个分段数据与Amazon Snowball Edge作业的设备。例如,您可以通过以下任何方式将您的转移分为分段:

  • 对于,您可以创建 10 个分为 8 TB 的分段Amazon Snowball Edge设备。

  • 对于大型文件,每个文件均可为一个分段,Amazon S3 中的对象的最大大小限制为 5 TB。

  • 各分段的大小可有所不同,每个单独的分段都可由相同类型的数据组成例如,一个分段由小型文件组成,另一个分段由大型文件组成等。这种方法有助于确定不同类型文件的平均传输速率。

注意

对于传输的每个文件,均会执行元数据操作。不论文件大小,此开销都是相同的。因此,通过将小文件压缩为更大的捆绑包、批处理您的文件或传输更大的单个文件,您将获得更快的传输速度。

创建数据传输分段能够让您轻松快速地解决传输问题,因为在传输运行一天或更长时间后尝试对大型的异构传输进行故障排除可能会很复杂。

在您完成 PB 级数据传输规划后,建议您将部分分段传输到Amazon Snowball Edge来自服务器的设备来校准您的速度和总传输时间。