集群概述 - Amazon Snowball Edge 开发人员指南
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

集群概述

对于该Amazon Snowball服务,集群是 Snowball Edge 设备的集合,用作用于本地存储和计算目的的单个逻辑单元。

与用于本地存储和计算的独立 Snowball Edge 设备相比,集群具有两个主要优势:

  • 更高的耐用性 — 存储在 Snowball Edge 设备集群中的数据比单台设备具有更高的数据持久性。此外,尽管集群中可能发生 Snowball Edge 中断,但集群上的数据仍像以前一样安全和可行。在数据处于危险之中,集群可以承受由 3 和 4 个设备组成的集群中丢失一台设备,在由 5 到 16 个设备组成的集群中最多可以承受两台设备的损失。您也可以添加或替换节点。

  • 增加计算优化设备的存储空间 — 对于在 Snow Family 设备上具有 Amazon S3 兼容存储空间的计算优化型 Snowball Edge 设备,集群中每个节点的总可用存储量高达 31 TB,具体取决于所使用的设备。因此,在 16 个节点的群集中,最多有 501 TB 的可用存储空间。相比之下,独立的 Snowball Edge 计算优化设备中大约有 39.5 TB 的可用存储空间。

Snow Family 设备上兼容 Amazon S3 的存储容错能力和存储容量
集群大小 容错能力 Snowball Edge Compute Optimized(配备 AMD EPYC Gen1、HDD 和可选 GPU)设备的存储容量 Snowball Edge Compute Optimized(使用 AMD EPYC Gen2 和 NVMe 进行了计算优化)设备的存储容量

3

最多丢失 1 个节点

83

38

4

最多丢失 1 个节点

125

57

5

丢失最多 2 个节点

125

57

6

丢失最多 2 个节点

167

76

7

丢失最多 2 个节点

209

95

8

丢失最多 2 个节点

250

114

9

丢失最多 2 个节点

292

133

10

丢失最多 2 个节点

334

152

11

丢失最多 2 个节点

370

165

12

丢失最多 2 个节点

376

171

13

丢失最多 2 个节点

418

190

14

丢失最多 2 个节点

459

209

15

丢失最多 2 个节点

495

225

16

丢失最多 2 个节点

501

228

Snowball Edge 设备集群由无领导节点组成。任何节点都可以向整个集群写入数据和从中读取数据,并且所有节点都能够执行集群的 behind-the-scenes 管理。

Snowball Edge 集群法定人数

法定人数表示集群中必须相互通信以维持读/写法定人数的 Snowball Edge 设备的最小数量。

假设您将数据上传到一个 Snowball Edge 设备集群。当所有设备都运行正常时,您的集群将达到读/写法定人数。如果其中一两个节点脱机,则集群的运行容量就会降低。但您仍可以对集群进行读写操作。从这个意义上讲,当集群运行除一两个节点之外的所有节点时,集群仍然具有读/写法定人数。在集群的运行容量受到影响之前可以离线的节点数量可在中找到this table

最后,如果集群损失的节点数超过中所示的节点数,则可能违反定额限制。this table当突破法定额时,集群将处于离线状态,并且集群中的数据不可用。您可以修复此问题,否则数据可能永久丢失,具体取决于事件的严重性。如果这是临时的外部电源事件,并且您可以重新开启三台 Snowball Edge 设备并解锁集群中的所有节点,则您的数据将再次可用。

重要

如果健康节点的最低法定人数不存在,请联系 Supp Amazon ort。

您可以通过确定节点的锁定状态和网络可到达性来确定集群的 quorum 状态。snowballEdge describe-cluster 命令报告回解锁集群中的每个节点的锁定和网络可到达性状态。确保集群中的设备运行正常并保持连接是您在创建集群任务时承担的管理责任。有关不同客户端命令的更多信息,请参见适用于 Snowball Edge 客户端的命令

Snowball Edge 设备的集群作业注意事项

在计划使用 Snowball Edge 设备集群时,请记住以下注意事项:

  • 建议您拥有一个冗余电源以便减少集群的潜在性能和稳定性问题。

  • 与独立的本地存储和计算任务一样,如果不在单独的导入任务中订购其他设备,则无法将存储在集群中的数据导入 Amazon S3。如果您订购其他设备作为导入任务,则可以将数据从集群传输到导入任务设备。

  • 要从 Amazon S3 将数据导入集群,请创建单独的导出任务,并将导出任务设备中的数据复制到集群上。

  • 您可以通过控制台Amazon CLI、或其中一个Amazon软件开发工具包创建集群作业。有关创建任务的指导性演练,请参阅入门

  • 集群节点具有节点 ID。节点 ID 与您可以从控制台、软件开发工具包和 Snowball E Amazon dge 客户端获取的设备的任务 ID 相同。Amazon CLI您可以使用节点 ID 从集群中删除旧节点。您可以对解锁设备使用 snowballEdge describe-device 命令或对解锁集群使用 describe-cluster 来获取节点 ID 的列表。

  • 集群的生命周期受在预置集群时向集群设备授予的安全证书的限制。默认情况下,Snowball Edge 设备最多可以使用 360 天,然后才需要退货。在该时间结束时,设备将停止响应读/写请求。如果您需要将一台或多台设备保存超过 360 天,请与联系Amazon Web Services Support。

  • Amazon 收到作为集群一部分寄回的设备之后,我们会对该设备执行完全擦除操作。此擦除过程遵循美国国家标准与技术研究院 (NIST) 800-88 标准。