AWS Snowball Edge 设备的最佳实践 - AWS Snowball Edge 开发人员指南
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本指南适用于 Snowball Edge。如果您正在查找 Snowball 的相关文档,请参阅 AWS Snowball 用户指南

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

AWS Snowball Edge 设备的最佳实践

为最大程度地利用 AWS Snowball Edge 设备的优势,我们建议您遵循以下最佳实践。

Security

以下是在使用 AWS Snowball Edge 设备 时保持安全性的建议和最佳实践。

General 安全性

  • 如果您注意到 AWS Snowball Edge 设备 有任何可疑之处,请不要将其连接到您的内部网络,而是联系 AWS Support,公司将向您发运新的 AWS Snowball Edge 设备。

  • 我们建议您不要将解锁代码副本与该任务的清单保存在工作站上的同一位置。将这些密钥保存在不同的位置有助于防止未授权方获得对 AWS Snowball Edge 设备 的访问权限。例如,您可以将清单的副本保存到本地服务器,并将解锁设备的代码通过电子邮件发送给一位用户。此方法仅允许以下人员访问 AWS Snowball Edge 设备:他们能够访问保存在服务器上的文件和用户的电子邮件地址。

  • 运行 Snowball 客户端 命令 snowballEdge credentials 时显示的凭证是一对密钥:一个访问密钥 和一个私有密钥。这些密钥仅与相关任务和设备上的本地资源相关联。它们不会映射到您的 AWS 账户或任何其他 AWS 账户。如果您尝试使用这些密钥访问 AWS 云中的服务和资源,它们将失败,因为它们仅适用于与您的任务关联的本地资源。

有关如何使用 AWS Identity and Access Management (IAM) 策略控制访问的信息,请参阅适用于 AWS Snowball Edge 的 AWS 托管(预定义)策略

网络 Security

  • 我们建议您一次只使用一个方法读取并将数据写入 AWS Snowball Edge 设备上的本地存储桶。同时在同一 文件接口 存储桶上同时使用 适用于 Snowball 的 Amazon S3 Adapter 和 Amazon S3 会导致读取/写入冲突。

  • 为防止损坏您的数据,请勿在传输数据时断开 AWS Snowball Edge 设备 或更改其网络设置。

  • 设备上的正在写入的文件应处于静态状态。在写入时修改的文件可能会导致读/写冲突。

  • 有关改进 AWS Snowball Edge 设备性能的更多信息,请参阅Performance

资源管理

请考虑在 AWS Snowball Edge 设备 上管理作业和资源的以下最佳实践。

  • Job created 状态是您可以取消任务时的唯一状态。当任务更改为其他状态时,您无法取消任务。这适用于集群。

  • 对于导入任务,请勿删除所传输数据的本地副本,直到成功导入到 Amazon S3。作为过程的一部分,请确保验证数据传输的结果。

Performance

在下文中,您可以找到有关 AWS Snowball Edge 设备 性能的建议和信息。本部分简要介绍了性能,因为本地环境的运营方式各不相同 — 不同的网络技术、不同的硬件、不同的操作系统、不同的过程等。

下表概述了您的网络传输速率如何影响向 Snowball Edge 设备填充数据所需的时间。由于较小的文件开销很小,因此,较小的文件将减慢传输速度。如果您有很多小文件,我们建议您在将这些文件传输到 Snowball Edge 设备之前将它们打包为较大的存档文件。

速率 (MB/s) 82 TB 传输时间
800 1.22 天
450 2.11 天
400 2.37 天
300 3.16 天
277 3.42 天
200 4.75 天
100 9.49 天
60 15.53 天
30 31.06 天
10 85.42 天

为了提供有关性能的有用指导信息,以下部分介绍如何确定何时使用 AWS Snowball Edge 设备以及如何充分利用此服务。

性能建议

强烈建议采用以下做法,因为这些做法对提高数据传输性能具有最大影响:

  • 建议每个目录包含的文件或目录数不超过 500,000 个。

  • 我们建议传输到 Snowball Edge 设备的所有文件的大小不小于 1 MB。

  • 如果您有很多文件的大小小于 1 MB,我们建议您在将这些文件传输到 Snowball Edge 设备之前将它们打包为较大的存档。

加快数据传输速度

能够提升 AWS Snowball Edge 设备性能的主要方法之一,就是加快数据传入和传出设备的速度。通常,您可以通过以下方法加快从数据源到设备的传输速度。以下列表按对性能产生的正向影响的大小排列:

  1. 一次执行多个写入操作 要执行此操作,请在与单个–具有网络连接的计算机上从多个终端窗口运行每个命令。AWS Snowball Edge 设备

  2. 批量传输小文件 – 因为要进行加密,每个复制操作都会产生一些开销。要加快处理速度,请将文件批量存储在单个存档中。批量处理文件时,在将它们导入到 Amazon S3 中时可以进行自动提取。有关更多信息,请参阅批量处理小文件

  3. 从多台计算机写入 – 可将单个 AWS Snowball Edge 设备连接到网络上的多台计算机。每台计算机均可立刻连接至三个网络接口中的任何一个。

  4. 请勿在传输过程中对文件执行其他操作 – 在传输过程中重命名文件,更改其元数据,或在执行复制操作期间在文件中写入数据,都会对传输性能产生负面影响。我们建议您在传输文件时将文件保持静态。

  5. 减少本地网络使用 – 您的 AWS Snowball Edge 设备将跨本地网络进行通信。因此,您可以通过减少AWS Snowball Edge 设备、它连接到的交换机和承载您的数据源的计算机之间的其他本地网络流量来提高数据传输速度。

  6. 消除不必要的跃点 –建议您设置 AWS Snowball Edge 设备、数据源以及在其之间运行终端连接的计算机,使其成为通过单个交换机通信的仅有计算机。这样做可以提高数据传输速度。

注意

使用文件接口的数据传输速率通常在 25 MB/s 到 40 MB/s 之间。如果您需要传输数据的速度超过此值,请使用 适用于 Snowball 的 Amazon S3 Adapter,它的数据传输速率通常介于 250 MB/s 和 400 MB/s 之间。有关使用文件接口的更多信息,请参阅使用文件界面将文件传输到 AWS Snowball Edge。有关使用 Amazon S3 Adapter 的更多信息,请参阅使用 Amazon S3 接口传输文件