AWS Snowball
开发人员指南
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本指南适用于 Snowball Edge。如果您正在查找 Snowball 的相关文档,请参阅 AWS Snowball 用户指南

使用 AWS Snowball Edge 集群

集群是对 AWS Snowball Edge 设备的逻辑分组 (5 - 10 台设备)。集群将作为单个任务创建,这将增大持久性和存储容量。在以下主题中,您可以找到有关 Snowball Edge 集群的信息。此信息包括概念、使用和管理信息以及常见 Snowball Edge 过程的演练。

注意

2018 年 1 月,为集群提供了功能更新,这使其成为无领导。集群更新与较旧集群向后兼容。但是,如果您要查找原始集群文档,请参阅Snowball Edge 的其他信息

集群化概述

对于 AWS Snowball 服务,集群是一组 Snowball Edge,用作单个逻辑单位并用于本地存储和计算目的。

与单独的 Snowball Edge 相比,集群提供了两种主要好处以进行本地存储和计算:

  • 提高了持久性 – 存储在 Snowball Edge 设备集群中的数据通过单个设备实现了更高的数据持久性。此外,集群上的数据像之前一样安全且可行,尽管集群中可能出现 Snowball Edge 中断。在数据处于风险中之前,集群能够承受两个节点的丢失。您也可以添加或替换节点。

  • 增大了存储空间 – 集群中的每个节点的总可用存储空间为 45 TB。因此,在 5 节点集群中,有 225TB 的可用存储空间。相比之下,独立的 Snowball Edge 中的可用存储空间为大约 80 TB。带 5 个以上的节点的集群具有更多的存储空间。

Snowball Edge 设备的集群由无领导节点构成。任何节点都可以将数据写入整个集群以及从整个集群读取数据,并且所有节点都能够执行集群的后台管理。

Snowball Edge 集群 Quorum

Quorum 表示集群中最少数量的 Snowball Edge 设备,这些设备必须相互通信以维护某个级别的操作。对于 Snowball Edge 集群,有两种级别的 quorum—读/写 quorum 和读 quorum。

假设您将数据上传到 Snowball Edge 设备的集群。在所有设备运行状况良好的情况下,您具有集群的读/写 quorum。

如果其中一个节点处于脱机状态,则您已减小集群的运行容量。但您仍可以对集群进行读写操作。在这种意义上,对于操作除一个节点之外的所有其他节点的集群,该集群仍具有读/写 quorum。

如果集群中的两个节点停机,则任何其他操作或正在进行的写入操作将失败。但可以访问和读取已成功写入到集群中的任何数据。这称为读取 quorum。

最后,假设又一个节点断电。随后,集群将进入脱机状态,并且集群中的数据不可用。您可以修复此问题,否则数据可能永久丢失,具体取决于事件的严重性。如果这是一个临时外部电源事件,并且您可以重新为三个 Snowball Edge 通电并解锁集群中的所有节点,则您的数据将再次可用。

重要

如果最小数量的运行正常的节点不存在,请联系 AWS Support。

您可以通过确定节点的锁定状态和网络可到达性来确定集群的 quorum 状态。snowballEdge describe-cluster 命令报告回解锁集群中的每个节点的锁定和网络可到达性状态。确保集群中的设备运行正常并保持连接是您在创建集群任务时承担的管理责任。有关不同客户端命令的详细信息,请参阅Snowball 客户端的命令

AWS Snowball Edge 的集群任务的注意事项

在规划对 Snowball Edge 集群的使用时,请记住以下注意事项:

  • 建议您拥有一个冗余电源以便减少集群的潜在性能和稳定性问题。

  • 与独立的本地存储和计算任务一样,如果不将其他设备作为单独导入任务的一部分进行排序,则集群中存储的数据无法导入 Amazon S3 中。如果您对这些设备排序,您可以将数据从集群传输到这些设备,并在寄回设备时为导入任务导入数据。

  • 要从 Amazon S3 中将数据获取到集群上,请创建单独的导出任务,并将数据从导出任务的设备中复制到集群上。

  • 您可以从控制台、AWS CLI 或某个 AWS 开发工具包创建集群任务。有关创建任务的指导性演练,请参阅AWS Snowball Edge 设备入门

  • 集群节点具有节点 ID。节点 ID 与从控制台、AWS CLI、AWS 开发工具包和 Snowball 客户端获取的设备的任务 ID 相同。您可以使用节点 ID 从集群中删除旧节点。您可以对解锁设备使用 snowballEdge describe-device 命令或对解锁集群使用 describe-cluster 来获取节点 ID 的列表。

  • 集群的生命周期受在预置集群时向集群设备授予的安全证书的限制。默认情况下,Snowball Edge 设备在需要寄回之前最多可使用 120 天。在该时间结束时,设备将停止响应读/写请求。如果需要将一个或多个设备保留 120 天以上,请联系 AWS Support。

  • AWS 收到作为集群一部分寄回的设备之后,我们会对该设备执行完全擦除操作。此擦除过程遵循美国国家标准与技术研究院 (NIST) 800-88 标准。

相关主题

除了本主题中介绍的内容之外,您还可以在本指南中找到有关集群的其他主题:

  • AWS Snowball Edge 设备入门 – 本部分概述如何开始创建您的第一个任务。本部分中的方法适用于所有任务类型,包括集群任务。

  • Snowball 客户端的命令 – 本部分包含适用于 Snowball 客户端工具的命令的列表。这些命令包含 Snowball Edge 管理命令,用于解锁集群、获取节点和整个集群的状态信息、删除不可用的节点以及添加新节点。

  • 管理集群 – 本节包含有关您对集群执行的管理任务(例如,添加和删除节点)的信息并包含有用的过程。

本页内容: