AWS Snowball
开发人员指南
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本指南适用于 Snowball Edge。如果您正在查找 Snowball 的相关文档,请参阅 AWS Snowball 用户指南

AWS Snowball Edge 设备的最佳实践

为最大程度地利用 AWS Snowball Edge 设备的优势,提高设备使用满意度,建议您遵循以下最佳实践。

安全性

  • 如果您注意到 AWS Snowball Edge 设备 有任何可疑之处,请不要将其连接到您的内部网络,而是联系 AWS Support,公司将向您发运新的 AWS Snowball Edge 设备。

  • 建议您不要将解锁代码副本和该任务的清单保存在工作站中的同一位置。分开保存它们有助于防止未获授权方访问 AWS Snowball Edge 设备。例如,您可以将清单的副本保存到本地服务器,并将解锁设备的代码通过电子邮件发送给一位用户。利用这种方法,仅能访问保存在服务器上的文件和该用户电子邮件地址的人员才能访问 AWS Snowball Edge 设备。

  • 运行 Snowball 客户端 命令 snowballEdge credentials 后显示的凭证是一对密钥:一个访问密钥和一个私有密钥。这些密钥仅与相关任务和设备上的本地资源相关联。它们不会映射到您的 AWS 账户或任何其他 AWS 账户。如果您试图使用这些密钥访问 AWS 云中的服务和资源,则将会失败,因为它们仅适用于与您的任务关联的本地资源。

网络

  • 建议您一次只使用一种方法读取并将数据写入 AWS Snowball Edge 设备中的本地存储桶。同时在同一存储桶上使用文件接口和 适用于 Snowball 的 Amazon S3 Adapter 会导致读取/写入冲突。

  • 为防止损坏您的数据,请勿在传输数据时断开 AWS Snowball Edge 设备或更改其网络设置。

  • 文件在写入设备时应处于静态状态。在写入时修改文件可能会导致读取/写入冲突。

  • 有关改进 AWS Snowball Edge 设备性能的更多信息,请参阅性能

资源管理

  • Job created 状态是您可以取消任务时的唯一状态。当任务变为其他状态时,无法取消任务。此项功能也适用于集群。

  • 对于导入作业,请勿删除所传输数据的本地副本,直至在此过程结束时成功导入到 Amazon S3。作为过程的一部分,请确保验证数据传输的结果。

性能

在接下来的内容中,您将了解有关 AWS Snowball Edge 设备性能的信息。此处,我们简要介绍了性能,因为每个本地环境的运营方式各不相同 — 不同的网络技术、不同的硬件、不同的操作系统、不同的过程等。

下表概述了您的网络传输速率如何影响向 Snowball Edge 填充数据所需的时间。由于较小的文件开销很小,因此,较小的文件将减慢传输速度。如果您有很多小文件,则建议您在将这些文件传输到 Snowball 之前将它们打包为较大的存档文件。

速率 (MB/s) 82 TB 传输时间
800 1.22 天
450 2.11 天
400 2.37 天
300 3.16 天
277 3.42 天
200 4.75 天
100 9.49 天
60 15.53 天
30 31.06 天
10 85.42 天

为了提供有关性能的有用指导信息,以下部分介绍如何确定何时使用 AWS Snowball Edge 设备以及如何充分利用此服务。

性能建议

强烈建议采纳以下建议,因为这些建议在提高数据传输性能方面具有最大影响:

  • 建议每个目录包含的文件或目录数不超过 500,000 个。

  • 建议传输到 Snowball 的所有文件的大小不小于 1 MB。

  • 如果您有很多文件的大小小于 1 MB,则建议您在将这些文件传输到 Snowball 之前将它们打包为较大的存档。

加快数据传输速度

能够提升 AWS Snowball Edge 设备性能的主要方法之一,就是加快数据传入和传出设备的速度。一般来说,您可通过以下方法加快数据从数据源到设备的传输速度,这些方法是根据对性能产生的积极影响由大到小进行排序的:

  1. 一次执行多个写入操作 – 您可以一次执行多个写入操作。您可以在与单个 AWS Snowball Edge 设备有网络连接的计算机的多个终端窗口中执行各个命令来完成此操作。

  2. 批量传输小文件 – 因为要进行加密,每个复制操作都会产生一些开销。要加快处理速度,请将文件批量存储在单个存档文件中。批量处理文件时,在将它们导入到 Amazon S3 中时可以进行自动提取。有关更多信息,请参阅批量处理小文件

  3. 从多台计算机写入 – 可将单个 AWS Snowball Edge 设备连接到网络上的多台计算机。每台计算机均可立刻连接至三个网络接口中的任何一个。

  4. 请勿在传输过程中对文件执行其他操作 – 在传输过程中重命名文件,更改其元数据,或在执行复制操作期间在文件中写入数据,都会对传输性能产生负面影响。我们建议您在传输文件时将文件保持静态。

  5. 减少本地网络使用 – 您的 AWS Snowball Edge 设备将跨本地网络进行通信。因此,降低 AWS Snowball Edge 设备、它连接到的交换机和承载您的数据源的计算机之间的其他本地网络流量可以提高数据传输速度。

  6. 消除不必要的跃点 –建议您设置 AWS Snowball Edge 设备、数据源以及在其之间运行终端连接的计算机,使其成为通过单个交换机通信的仅有计算机。这样做可以提高数据传输速度。

注意

使用文件接口的数据传输速率通常在 25 MB/s 到 40 MB/s 之间。如果您需要传输数据的速度超过此值,请将 Amazon S3 用于适配器 Snowball,它的数据传输速率通常介于 250 MB/s 和 400 MB/s 之间。有关使用文件接口的更多信息,请参阅 对 AWS Snowball Edge 使用文件接口。有关使用 使用 Amazon S3 Adapter 的更多信息,请参阅 Amazon S3。

本页内容: