集群化概述 - Amazon Snowball Edge 开发者指南
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

集群化概述

对于该 Amazon Snowball 服务,集群是 Snowball Edge 设备的集合,用作用于本地存储和计算目的的单个逻辑单元。

与单独的 Snowball Edge 设备相比,集群为本地存储和计算提供了两种主要好处:

  • 提高了持久性:存储在 Snowball Edge 设备集群中的数据可通过单个设备实现更高的数据持久性。此外,尽管集群中可能出现 Snowball Edge 中断,集群上的数据仍像之前一样安全且可行。由 3 至 4 台设备组成的集群可承受失去 1 台设备,由 5 至 16 台设备组成的集群最多可承受失去 2 台设备,否则数据将面临威胁。您也可以添加或替换节点。

  • 增加存储空间 — 借助 Snowball Edge 存储优化设备,您可以创建一个单个 16 节点集群,该群集具有高达 2.6 PB 的 S3 兼容可用存储容量。借助 Snowball Edge 计算优化设备,您可以创建一个单个 16 节点集群,其中包含高达 501 TB 的 S3 兼容可用存储容量。

Snow 系列设备上与 Amazon S3 兼容的存储的容错能力和存储容量
集群大小 容错能力 Snowball Edge Compute Optimized(搭载 AMD EPYC Gen1、HDD 和可选 GPU)设备的存储容量 Snowball Edge Compute Optimized(搭载 AMD EPYC Gen2 和 NVMe 进行计算优化型)设备的存储容量 Snowball Edge 存储经过优化的 210 TB 设备的存储容量

3

最多丢失 1 个节点

83

38

438

4

最多丢失 1 个节点

125

57

657

5

最多丢失 2 个节点

125

57

657

6

最多丢失 2 个节点

167

76

904

7

最多丢失 2 个节点

209

95

1096

8

最多丢失 2 个节点

250

114

1315

9

最多丢失 2 个节点

292

133

1534

10

最多丢失 2 个节点

334

152

1754

11

最多丢失 2 个节点

370

165

1970

12

最多丢失 2 个节点

376

171

1973

13

最多丢失 2 个节点

418

190

2192

14

最多丢失 2 个节点

459

209

2411

15

最多丢失 2 个节点

495

225

2625

16

最多丢失 2 个节点

501

228

2631

Snowball Edge 设备的集群由无领导节点构成。任何节点都可以向整个集群写入数据和从中读取数据,并且所有节点都能够执行集群的 behind-the-scenes 管理。

Snowball Edge 集群 Quorum

Quorum 表示集群中最少数量的 Snowball Edge 设备,这些设备必须相互通信以维护读/写 quorum。

假设您将数据上传到 Snowball Edge 设备的集群。在所有设备运行状况良好的情况下,您具有集群的读/写 quorum。如果其中一个节点处于脱机状态,则您减小集群的运行容量。但您仍可以对集群进行读写操作。在这种意义上,对于操作除一个或两个节点之外的所有节点的集群,该集群仍具有读/写 quorum。在集群的运行容量受到影响之前可离线的节点数量可在 this table 中找到。

最后,如果集群丢失的节点数超过this table中所示的节点数,则可能违反 quorom。违反 quorom 后,集群将进入脱机状态,并且集群中的数据不可用。您可以修复此问题,否则数据可能永久丢失,具体取决于事件的严重性。如果这是一个临时外部电源事件,并且您可以重新为三个 Snowball Edge 通电并解锁集群中的所有节点,则您的数据将再次可用。

重要

如果最小数量的运行正常的节点不存在,请联系 Amazon Support。

您可以通过确定节点的锁定状态和网络可到达性来确定集群的 quorum 状态。snowballEdge describe-cluster 命令报告回解锁集群中的每个节点的锁定和网络可到达性状态。确保集群中的设备运行正常并保持连接是您在创建集群作业时承担的管理责任。有关不同客户端命令的详细信息,请参阅Snowball Edge 客户端的命令

Snowball Edge 设备的集群作业注意事项

在规划对 Snowball Edge 集群的使用时,请记住以下注意事项:

  • 建议您拥有一个冗余电源以便减少集群的潜在性能和稳定性问题。

  • 与独立的本地存储和计算作业一样,如果不将其他设备作为单独导入作业的一部分进行排序,则集群中存储的数据无法导入 Amazon S3 中。如果您预定其他设备作为导入作业,则可以将数据从集群传输到导入作业设备。

  • 要从 Amazon S3 中将数据获取到集群上,请创建单独的导出作业,并将数据从导出作业的设备中复制到集群上。

  • 您可以通过控制台 Amazon CLI、或其中一个 Amazon 软件开发工具包创建集群作业。有关创建作业的指导性演练,请参阅入门

  • 集群节点具有节点 ID。节点 ID 与您可以从控制台、软件开发工具包和 Snowball E Amazon dge 客户端获取的设备的任务 ID 相同。 Amazon CLI您可以使用节点 ID 从集群中删除旧节点。您可以对解锁设备使用 snowballEdge describe-device 命令或对解锁集群使用 describe-cluster 来获取节点 ID 的列表。

  • 集群的生命周期受在预置集群时向集群设备授予的安全证书的限制。默认情况下,Snowball Edge 设备在需要寄回之前最多可使用 360 天。在该时间结束时,设备将停止响应读/写请求。如果您需要将一台或多台设备保存超过 360 天,请与联系 Amazon Web Services Support。

  • 当 Amazon 收到退回的属于集群的设备时,我们会对该设备进行彻底的擦除。此擦除过程遵循美国国家标准与技术研究院(NIST)800-88 标准。