Amazon Snowball Edge 设备的最佳实践 - Amazon Snowball Edge Developer Guide
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon Snowball Edge 设备的最佳实践

为了帮助您获得最大的好处和满意度Amazon SnowballEdge 设备,建议您遵循以下最佳实践。

Security

以下是在使用Amazon SnowballEdge 设备。

General 安全性

  • 如果您注意到有任何可疑之处,Amazon SnowballEdge 设备,请不要将其连接到您的内部网络,相反,请联系Amazon支持,以及新的Amazon SnowballEdge 设备将发运给您。

  • 建议您不要将解锁代码副本和该任务的清单保存在工作站上的工作站上的同一位置。将这些信息保存在不同位置有助于防止未获授权方访问Amazon SnowballEdge 设备。例如,您可以将清单的副本保存到本地服务器,并将解锁设备的代码通过电子邮件发送给一位用户。这种方法限制了访问Amazon SnowballEdge 设备传输到能够访问保存在服务器上的文件和用户电子邮件地址的人员。

  • 运行 Snowball 客户端命令时显示的凭据snowballEdge credentials是一对键:访问密钥私有密钥。这些密钥仅与相关任务和设备上的本地资源相关联。它们不会映射到您的Amazon帐户或任何其他Amazonaccount. 如果您试图使用这些密钥访问Amazon云中,它们将失败,因为它们只适用于与您的作业关联的本地资源。

有关如何使用Amazon Identity and Access Management(IAM) 策略控制访问,请参阅Amazon适用于 的 托管 (预定义) 策略Amazon Snowball边缘

网络Security

  • 建议您一次只使用一种方法读取并将数据写入Amazon SnowballEdge 设备。同时在同一 Amazon S3 存储桶上使用文件接口和 Amazon S3 Adapter to to Snowball 可能会导致读取/写入冲突。

  • 为防止损坏您的数据,请勿在Amazon SnowballEdge 设备或在传输数据时更改其网络设置。

  • 正在设备上写入的文件应处于静态状态。在写入时修改文件可能会导致读取/写入冲突。

  • 有关改进性能的更多信息,Amazon SnowballEdge 设备,请参阅Performance

资源管理

请考虑以下最佳实践来管理您的Amazon SnowballEdge 设备。

  • Job created 状态是您可以取消任务时的唯一状态。当任务变为其他状态时,您无法取消任务。这适用于群集。

  • 对于导入任务,请勿删除所传输数据的本地副本,直至成功导入到 Amazon S3。作为过程的一部分,请确保验证数据传输的结果。

Performance

接下来,您可以查找关于Amazon SnowballEdge 设备性能。本部分简要介绍了性能,因为本地环境的运营方式各不相同 — 不同的网络技术、不同的硬件、不同的操作系统、不同的过程等。

下表概述了您的网络传输速率如何影响向 Snowball Edge 设备填充数据所需的时间。由于较小的文件开销增加,因此,较小的文件将减慢传输速 如果您有很多小文件,则建议您在将这些文件传输到 Snowball Edge 设备之前将它们打包为较大的存档文件。

速率 (MB/s) 82 TB 传输时间
800 1.22 天
450 2.11 天
400 2.37 天
300 3.16 天
277 3.42 天
200 4.75 天
100 9.49 天
60 15.53 天
30 31.06 天
10 85.42 天

为了提供有关性能的有用指导信息,以下部分介绍如何确定何时使用Amazon SnowballEdge 设备以及如何充分利用服务。

性能建议

强烈建议采纳以下做法,因为这些做法对于提高数据传输性能产生的影响最大:

  • 建议每个目录包含的文件或目录数不超过 500,000 个。

  • 建议传输到 Snowball Edge 设备的所有文件的大小不小于 1 MB。

  • 如果您有很多文件的大小小于 1 MB,则建议您在将这些文件传输到 Snowball Edge 设备之前将它们打包为较大的存档文件。

加快数据传输速度

其中一个可以提升性能的主要方法,Amazon SnowballEdge 设备旨在加快数据传入和传出设备的速度。一般来说,您可通过以下方法加快数据从数据源到设备的传输速度。以下列表按照对性能的积极影响从最大到最小的顺序排列:

  1. 一次执行多个写入操作— 为此,请在与单个有网络连接的计算机的多个终端窗口中运行各个命令Amazon SnowballEdge 设备。

  2. 批量传输小文件— 因为要进行加密,每个复制操作都会产生一些开销。要加快处理速度,请将文件批量存档文件中。批量处理文件时,在将它们导入到 Amazon S3 中时可以进行自动提取。有关更多信息,请参阅批量处理小文件

  3. 在传输过程中不对文件执行其他操作— 在传输过程中重命名文件、更改其元数据或在执行复制操作期间在文件中写入数据,都会对传输性能产生负面影响。我们建议您在传输文件时将文件保持静态。

  4. 减少本地网络使用— 您的Amazon SnowballEdge 设备将跨本地网络进行通信。因此,您可以通过减少Amazon SnowballEdge 设备、它连接到的交换机以及承载您的数据源的计算机。

  5. 消除不必要的啤酒花— 建议您设置Amazon SnowballEdge 设备、您的数据源以及在其之间运行终端连接的计算机,因此,它们是通过单个交换机通信的仅有计算机。这样做可以提高数据传输速度。

注意

使用文件接口的数据传输速率通常在 25 MB/s 到 40 MB/s 之间。如果您需要传输数据的速度超过此值,请将用于 Snowball 的 Amazon S3 Adapter,它的数据传输速率通常介于 250 MB/s 和 400 MB/s 之间。有关使用文件界面的更多信息,请参阅使用文件界面将文件传输到 Amazon Snowball Edge。有关使用 Amazon S3 Adapter 的更多信息,请参阅使用 Amazon S3 界面传输文件