使用迁移大数据 Amazon Snow Family devices - Amazon Snowball Edge 开发者指南
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用迁移大数据 Amazon Snow Family devices

从本地迁移大量数据需要仔细规划、编排和执行,从而确保您的数据成功迁移到 Amazon。

我们建议您在开始迁移之前制定数据迁移策略,以避免错过最后期限、超出预算和迁移失败的可能性。 Amazon Snow 服务可帮助您通过中的 Snow Family 大型数据迁移管理器 (LDMM) 功能下达、订购和跟踪您的大型数据迁移项目。 Amazon Snow 系列管理控制台

主题 规划您的大型传输校准大型传输 描述了手动数据迁移过程。您可以使用 Snow 系列 LDMM 迁移计划简化手动步骤。

规划您的大型传输

我们建议您按照以下各节中的指南,规划和校准现场 Amazon Snowball Edge 设备与服务器之间的大型数据传输。

第 1 步:了解您要迁移到云中的数据

在使用创建第一个任务之前 Amazon Snow 系列管理控制台,请务必评估需要传输的数据量、当前存储位置以及要将其传输到的目的地。对于 PB 级或更大型的数据传输,在您的 Snow 系列设备到达之前完成此类行政事务管理工作,您的作业将会更加顺利地完成。

如果您是首次将数据迁移到,我们建议您设计云迁移模型。 Amazon Web Services 云 云迁移不是一朝一夕就能完成的。这项工作需要严谨的规划流程,从而确保所有系统都能按预期运行。

完成此步骤后,您应了解要迁移到云中的数据总量。

第 2 步:计算您的目标传输速率

估算出您能够以多快的速度将数据传输到与各个服务器连接的 Snow 系列设备,这一点很重要。这个以 MB/秒 为单位的预估速度决定了使用本地网络基础设施将数据从数据来源传输到 Snowball Edge 设备的速度。

注意

对于大型数据传输,我们建议您使用 Amazon S3 数据传输方法。在 Amazon Snow 系列管理控制台中预定设备时,必须选择此选项。

要确定基准传输速率,请将数据的一小部分传输到 Snowball Edge 设备,或者传输 10 GB 的示例文件并观察吞吐量。

在确定您的目标传输速度时,请谨记您可以通过调整环境(包括网络配置)来提高吞吐量,其方法为更改网络速度、所传输文件的大小以及从本地服务器读取数据的速度。Amazon S3 Adapter 可在条件允许的情况下尽快将数据复制到 Snow 系列设备。

第 3 步:确定您需要多少台 Snow 系列设备

根据您计划迁移到云中的数据总量、估计的传输速度以及您希望允许将数据迁移到云中的天数 Amazon,确定大规模数据迁移需要多少台 Snow Family 设备。根据设备类型的不同,Snowball Edge 设备大约有 39.5 TB、80 TB 或 210 TB 的可用存储空间。例如,如果您想在 10 天内将 300 TB 的数据移至 Amazon 超过 10 天,并且传输速度为 250 MB/s,则需要 4 台 Snowball Edge 设备。由于剩余的数据传输量少于 40 TB,因此建议使用 Amazon Snowcone 设备(可用空间为 14 TB)。

注意

Amazon Snow Family devices LDMM 提供了一个向导来估计 Amazon Snow Family devices 可以同时支持的数量。有关更多信息,请参阅制定大型数据迁移计划

第 4 步:创建您的作业

在知道需要多少台 Snow 系列设备之后,您需要为每台设备创建一个导入作业。Snow 系列 LDMM 简化了创建多个作业的过程。有关更多信息,请参阅下达下一个作业订单

注意

您可以下达下一个作业订单,并直接从建议的作业预定计划表自动将其添加到计划中。有关更多信息,请参阅建议的作业预定计划

第 5 步:将您的数据分为传输分段

对于包含多个作业的大型数据传输,其最佳实操是将数据有序划分为数个易于管理的小型数据集。这样一来,您可以每次传输一个分区,或者并行传输多个分区。在规划分区时,请确保分区的组合数据适合用于该作业的 Snow 系列设备。例如,您可以通过以下任一方法将传输的数据分成多个分区:

  • 您可以为 Snowball Edge 创建 10 个分区,每个分区大小为 8 TB。

  • 对于大型文件,每个文件均可为一个单独的分区,但不得超过 Amazon S3 中对象的 5 TB 大小限制。

  • 各分区的大小可有所不同,每个单独的分区都可由相同类型的数据组成,例如,一个分区由小型文件组成,另一个分区由压缩存档文件组成,而另一个分区则由大型文件组成等。这种方法能够帮助您确定不同类型文件的平均传输速率。

注意

对于传输的每个文件,均会执行元数据操作。不论文件大小,此开销都是相同的。因此,通过将小文件压缩为更大的捆绑包、批处理您的文件或传输更大的单个文件,您将获得更快的传输速度。

创建此类数据传输分段能够让您轻松快速地解决任何传输问题,因为在大型的异构传输运行一天或更长时间后尝试对该传输进行故障排除可能会很复杂。

在您完成 PB 级数据传输规划后,建议您将部分分段从服务器传输到 Snow 系列设备,以便校准传输速度和总传输时间。