使用 Amazon Snowball Edge 集群 - Amazon Snowball Edge 开发人员指南
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用 Amazon Snowball Edge 集群

一个聚集是一组逻辑分组Amazon SnowballEdge 设备,分组 5—10 台设备。集群将作为单个任务创建,这将增大持久性和存储容量。本部分提供有关 Snowball Edge 集群的概念、使用和管理信息以及常见 Snowball Edge 过程的演练。

注意

2018 年 1 月,为集群提供了功能更新,这使其成为无领导。集群更新与较旧集群向后兼容。.

集群化概述

对于Amazon Snowball服务,集群是一组 Snowball Edge 设备,用作单个逻辑单位并用于本地存储和计算目的。

与单独的 Snowball Edge 相比,集群提供了两种主要好处以进行本地存储和计算:

  • 提高持久性-存储在 Snowball Edge 设备集群中的数据通过单个设备实现了更高的数据持久性。此外,集群上的数据像之前一样安全且可行,尽管集群中可能出现 Snowball Edge 中断。在数据处于风险中之前,集群能够承受两个节点的丢失。您也可以添加或替换节点。

  • 增加了存储-在 Snowball Edge Storage Optimized 设备集群中,每个节点的总可用存储空间为 45 TB。因此,在 5 节点集群中,有 225 TB 的可用存储空间。相比之下,独立的 Snowball Edge 中的可用存储空间为大约 80 TB。带 5 个以上的节点的集群具有更多的存储空间。

Snowball Edge 设备的集群由无领导节点构成。任何节点都可以将数据写入整个集群以及从整个集群读取数据,并且所有节点都能够执行 behind-the-scenes 集群的管理。

Snowball Edge 集群 Quorum

一个法定人数表示集群中最少数量的 Snowball Edge 设备,这些设备必须相互通信以维护某个级别的操作。对于 Snowball Edge 集群,有两种级别的 Quorum-读/写 quorum 和读 quorum。

假设您将数据上传到 Snowball Edge 设备的集群。在所有设备运行状况良好的情况下,读/写quorum集群的。如果其中一个节点处于脱机状态,则您已减小集群的运行容量。但您仍可以对集群进行读写操作。在这种意义上,对于操作除一个节点之外的所有其他节点的集群,该集群仍具有读/写 quorum。

如果集群中的两个节点停机,则任何其他操作或正在进行的写入操作将失败。但可以访问和读取已成功写入到集群中的任何数据。这被称为阅读法定人数.

最后,假设又一个节点断电。随后,集群将进入脱机状态,并且集群中的数据不可用。您可以修复此问题,否则数据可能永久丢失,具体取决于事件的严重性。如果这是一个临时外部电源事件,并且您可以重新为三个 Snowball Edge 设备通电并解锁集群中的所有节点,则您的数据将再次可用。

重要

如果最小数量的正常运行的节点不存在,请联系AmazonSupport。

您可以通过确定节点的锁定状态和网络可到达性来确定集群的 quorum 状态。snowballEdge describe-cluster 命令报告回解锁集群中的每个节点的锁定和网络可到达性状态。确保集群中的设备运行正常并保持连接是您在创建集群任务时承担的管理责任。有关不同客户端命令的详细信息,请参阅Snowball Edge 客户端的命令.

Amazon Snowball Edge 的集群任务的注意事项

在规划对 Snowball Edge 集群的使用时,请记住以下注意事项:

  • 建议您拥有一个冗余电源以便减少集群的潜在性能和稳定性问题。

  • 与独立的本地存储和计算任务一样,如果不将其他设备作为单独导入任务的一部分进行排序,则集群中存储的数据无法导入 Amazon S3 中。如果您对这些设备排序,您可以将数据从集群传输到这些设备,并在寄回设备时为导入任务导入数据。

  • 要从 Amazon S3 将数据获取到集群上,请创建单独的导出任务,并将数据从导出任务的设备中复制到集群上。

  • 您可以从控制台创建集群任务,Amazon CLI,或者其中一个Amazon开发工具包。有关创建任务的指导性演练,请参阅入门

  • 集群节点具有节点 ID。一个节点 ID与从控制台获取的设备的任务 ID 相同,Amazon CLI,Amazon软件开发工具包和 Snowball Edge 客户端。您可以使用节点 ID 从集群中删除旧节点。您可以对解锁设备使用 snowballEdge describe-device 命令或对解锁集群使用 describe-cluster 来获取节点 ID 的列表。

  • 集群的生命周期受在预置集群时向集群设备授予的安全证书的限制。默认情况下,Snowball Edge 设备在需要寄回之前最多可使用 360 天。在该时间结束时,设备将停止响应读/写请求。如果需要将一个或多个设备保留 360 天以上,请联系Amazon Web Services Support.

  • Amazon 收到作为集群一部分寄回的设备之后,我们会对该设备执行完全擦除操作。此擦除过程遵循美国国家标准与技术研究院 (NIST) 800-88 标准。

相关主题

除了这里介绍的内容之外,您还可以在本指南中找到与集群相关的其他主题:

  • 入门-概述如何开始创建您的第一个任务。本部分中的方法适用于所有任务类型,包括集群任务。

  • Snowball Edge 客户端的命令-包含适用于 Snowball Edge 客户端工具的命令的列表。这些命令包含 Snowball Edge 管理命令,用于解锁集群、获取节点和整个集群的状态信息、删除不可用的节点以及添加新节点。

  • 管理集群-包含有关您对集群执行的管理任务(例如,添加和删除节点)的信息并包含有用的过程。