Amazon Snowball Edge 设备的最佳实践 - Amazon Snowball Edge 开发人员指南
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon Snowball Edge 设备的最佳实践

为了帮助获得最大的收益和满意度Amazon Snowball Edge设备,我们建议您遵循以下最佳实践。

安全性

以下是在使用Amazon Snowball Edge设备。

普通的安全

  • 如果您注意到有任何可疑之处Amazon Snowball Edge设备,请勿将其连接到您的内部网络。否则,可联系Amazon Web Services Support,还有一个新的Amazon Snowball Edge设备将发运给您。

  • 建议您不要将解锁代码副本和该任务的清单保存在工作站中的同一位置。将这些保存在不同位置有助于防止未获授权方访问Amazon Snowball Edge设备。例如,您可以将清单的副本保存到本地服务器,并将解锁设备的代码通过电子邮件发送给一位用户。这种方法限制了对Amazon Snowball Edge将设备传输到有权访问保存在服务器上的文件和用户电子邮件地址的人员使用。

  • 运行 Snowball Edge 客户端命令列表访问密钥和获取秘密访问密钥时,显示的凭据是用于访问设备的一对访问密钥。

    这些密钥仅与相关任务和设备上的本地资源相关联。它们不会映射到您的Amazon Web Services 账户或任何其他任何Amazon Web Services 账户. 如果您试图使用这些密钥访问Amazon Web Services 云,它们将失败,因为他们只为与您的工作相关的本地资源工作。

有关如何使用的信息Amazon Identity and Access Management(IAM) 策略控制访问权限,请参阅Amazon适用于 的 托管 (预定义) 策略Amazon Snowball边缘.

网络安全

  • 建议您一次只使用一种方法读取数据并将数据写入中的本地存储桶。Amazon Snowball Edge设备。同时在同一 Amazon S3 存储桶上使用文件接口和 Amazon S3 接口可能会导致读取/写入冲突。

  • 为防止损坏您的数据,请勿断开Amazon Snowball Edge设备或在传输数据时更改其网络设置。

  • 设备上要写入的文件应处于静态状态。在写入时修改文件可能会导致读取/写入冲突。

  • 有关改进性能的更多信息Amazon Snowball Edge设备,请参阅性能.

资源管理

请考虑以下最佳实践来管理您的任务和资源:Amazon Snowball Edge设备。

  • Job created 状态是您可以取消任务时的唯一状态。当任务变为其他状态时,您无法取消任务。这适用于群集。

  • 对于导入任务,请勿删除所传输数据的本地副本,直至成功导入到 Amazon S3。作为过程的一部分,请确保验证数据传输的结果。

性能

以下您可以找到以下内容的建议和信息:Amazon Snowball Edge设备性能。本部分简要介绍了性能,因为本地环境的任务方式有所不同 — 不同的网络技术、不同的硬件、不同的操作系统、不同的过程等。

下表概述了您的网络传输速率如何影响向 Snowball Edge 设备填充数据所需的时间。由于开销增加,传输较小的文件会降低传输速度。如果您有很多小文件,则建议您在将这些文件传输到 Snowball Edge 设备之前将它们打包为较大的存档文件。

速率 (MB/s) 82 TB 传输时间
800 1.22 天
450 2.11 天
400 2.37 天
300 3.16 天
277 3.42 天
200 4.75 天
100 9.49 天
60 15.53 天
30 31.06 天
10 85.42 天

为了提供有关性能的有用指导信息,以下部分介绍如何确定何时使用Amazon Snowball Edge以及如何充分利用服务。

性能建议

强烈建议采纳以下做法,因为这些做法对于提高数据传输性能产生的影响最大:

  • 建议每个目录包含的文件或目录数不超过 500,000 个。

  • 建议传输到 Snowball Edge 设备的所有文件的大小不小于 1 MB。

  • 如果您有很多文件的大小小小于 1 MB,则建议您在将这些文件传输到 Snowball Edge 设备之前将它们打包为较大的存档文件。

加快数据传输速度

能够提升性能的主要方法之一Amazon Snowball Edge设备的目标是加快数据传入和传出设备的速度。一般来说,您可通过以下方法加快数据从数据源到设备的传输速度。以下列表对性能的积极影响从最大到最小的顺序排列:

  1. 一次执行多个写操作— 为此,请在与单个有网络连接的计算机的多个终端窗口中运行各个命令。Amazon Snowball Edge设备。

  2. 批量传输小文件— 由于加密,每个复制操作都会产生一些开销。为了加快处理速度,请将文件批处理到单个存档文件中。批量处理文件时,在将它们导入到 Amazon S3 中时可以进行自动提取。有关更多信息,请参阅 批量处理小文件

  3. 在传输过程中不要对文件执行其他操作— 在传输过程中重命名文件、更改其元数据或在执行复制操作期间在文件中写入数据,都会对传输性能产生负面影响。我们建议您在传输文件时将文件保持静态。

  4. 减少本地网络使用— 您的Amazon Snowball Edge设备通过本地网络进行通信。因此,您可以通过减少Amazon Snowball Edge设备、它连接到的交换机以及承载您的数据源的计算机。

  5. 消除不必要的啤酒花— 我们建议您设置Amazon Snowball Edge设备、数据源以及在其之间运行终端连接的计算机,使其成为通过单个交换机通信的仅有计算机。这样做可以提高数据传输速度。

注意

使用文件接口的数据传输速率通常在 25 MB/s 到 40 MB/s 之间。如果您需要传输数据的速度超过此值,请使用 Amazon S3 接口,该接口的数据传输速率通常介于 250 MB/s 到 400 MB/s 之间。有关使用文件接口的更多信息,请参阅使用文件界面将文件传输到 Amazon Snowball Edge. 有关使用 Amazon S3 接口的更多信息,请参阅使用 Amazon S3 界面传输文件.