规划您的大额转账 - Amazon Snowball Edge 开发人员指南
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

规划您的大额转账

我们建议您使用以下各节中的指导方针,规划和校准现场Amazon Snowball Edge设备与服务器之间的大型数据传输。

第 1 步:了解您要向云端迁移的内容

在使用创建第一个任务之前,请确保评估需要传输的数据量、数据当前的存储位置以及要将数据传输到的目的地。Amazon Snow 系列管理控制台对于一千万亿字节或更大的数据传输,这种管理管理服务可以让你在 Snow Family 设备到达时轻松得多。

如果您是首次添加数据,我们建议您设计云迁移模型。Amazon Web Services 云云迁移不会在一夜之间发生。这需要仔细的规划过程来确保所有系统都能按预期运行。

完成此步骤后,您应了解要迁移到云中的数据总量。

步骤 2:计算目标传输速率

请务必估算将数据传输到连接到每台服务器的 Snow Family 设备的速度。这个以 MB/sec 为单位的估计速度决定了您可以使用本地网络基础设施将数据从数据源传输到 Snowball Edge 设备的速度。

注意

对于大型数据传输,我们建议使用 Amazon S3 数据传输方法。在中订购设备时,必须选择此选项Amazon Snow 系列管理控制台。

要确定基准传输速率,请将一小部分数据传输到 Snowball Edge 设备,或者传输 10 GB 的示例文件并观察吞吐量。

在确定目标传输速度时,请记住,您可以通过调整环境(包括网络配置)、更改网络速度、传输文件的大小以及从本地服务器读取数据的速度来提高吞吐量。只要条件允许,Amazon S3 适配器会尽快将数据复制到 Snow Family 设备。

第 3 步:确定你需要多少 Snow Family 设备

使用您计划迁移到云端的数据总量、估计的传输速度以及您希望允许将数据移入Amazon的天数,确定大规模数据迁移需要多少 Snow Family 设备。根据设备类型的不同,Snowball Edge 设备的可用存储空间约为 39.5 TB、80 TB 或 210 TB。例如,如果您想将 300 TB 的数据转移到 10 天Amazon以上,并且您的传输速度为 250 Mb/s,则需要 4 台 Snowball Edge 设备。如果剩余的数据少于 40 TB,则建议使用Amazon Snowcone设备(可用空间为 14TB)。

注意

Amazon Snow Family devicesLDMM 提供了一个向导来估计Amazon Snow Family devices可以同时支持的数量。有关更多信息,请参阅制定大型数据迁移计划

步骤 4:创建任务

知道需要多少 Snow Family 设备后,需要为每台设备创建导入任务。Snow Family LDMM 简化了多个就业机会的创建。有关更多信息,请参阅下下一个工作订单

注意

您可以下下一个工作订单,并直接从推荐的工作订购时间表中自动将其添加到计划中。有关更多信息,请参阅推荐的任务排序时间表

步骤 5:将数据分成传输段

作为涉及多个任务的大型数据传输的最佳做法,我们建议您在逻辑上将数据拆分为多个更小、更易于管理的数据集。这允许您一次传输每个分区,或parallel 传输多个分区。规划分区时,请确保合并后的分区数据适合工作所需的 Snow Family 设备。例如,您可以通过以下任何方式将传输分成分区:

  • 你可以为 Snowball Edge 创建 10 个分区,每个分区大小为 8 TB。

  • 对于大型文件,每个文件可以是一个单独的分区,最大为 Amazon S3 中对象的大小上限为 5 TB。

  • 每个分区的大小可以不同,每个分区可以由相同类型的数据组成,例如,一个分区中的小文件,另一个分区中的压缩存档,另一个分区中的大文件等等。这种方法可以帮助您确定不同类型文件的平均传输速率。

注意

对传输的每个文件执行元数据操作。不论文件大小,此开销都是相同的。因此,您可以通过将小文件压缩成更大的包、批处理文件或传输更大的单个文件来获得更快的性能。

创建数据传输分段可以让您更轻松地快速解决传输问题,因为在传输运行一天或更长时间后尝试对大型异构传输进行故障排除可能很复杂。

当你完成了 PB 级数据传输的规划后,我们建议你将几个分段从服务器传输到 Snow Family 设备上,以校准速度和总传输时间。