欢迎使用《Amazon MSK 开发人员指南》
欢迎使用《Amazon MSK 开发人员指南》。以下主题可帮助您根据自己的需求开始使用本指南。
-
按照 开始使用 Amazon MSK 教程创建 Amazon MSK 集群。
-
深入了解 Amazon MSK 的工作原理 中的 Amazon MSK 的功能。
-
使用 什么是 MSK Serverless? 无需管理和扩展集群容量即可运行 Apache Kafka。
使用 什么是 Amazon MSK 复制器? 在不同或相同 Amazon 区域中跨 Amazon MSK 集群可靠地复制数据。
有关亮点、产品详细信息和定价,请参阅 Amazon MSK
什么是 Amazon MSK?
Amazon Managed Streaming for Apache Kafka(Amazon MSK)是一项完全托管式服务,让您能够构建并运行使用 Apache Kafka 来处理串流数据的应用程序。Amazon MSK 提供控制面板操作,例如,用于创建、更新和删除集群的操作。它允许您使用 Apache Kafka 数据层面操作,例如,用于生成和使用数据的操作。它运行 Apache Kafka 的开源版本。这意味着支持来自合作伙伴和 Apache Kafka 社区的现有应用程序、工具和插件,而无需更改应用程序代码。您可以使用 Amazon MSK 创建使用 支持的 Apache Kafka 版本 下列出的任何 Apache Kafka 版本的集群。
这些组件描述了 Amazon MSK 的架构:
-
代理节点 – 创建 Amazon MSK 集群时,您可以指定 Amazon MSK 要在每个可用区中创建的代理节点数。每个可用区至少有一个代理。每个可用区都有自己的 Virtual Private Cloud (VPC) 子网。
ZooKeeper 节点 – Amazon MSK 还会为您创建 Apache ZooKeeper 节点。Apache ZooKeeper 是一个开源服务器,可实现高度可靠的分布式协调。
KRaft 控制器 — Apache Kafka 社区开发了 KRaft 来取代 Apache ZooKeeper 进行 Apache Kafka 集群中的元数据管理。在 KRaft 模式下,集群元数据在 Kafka 集群的一组 Kafka 控制器内传播,而不是跨 ZooKeeper 节点传播。KRaft 控制器免费提供给用户,并且不需要您进行额外的设置或管理。
注意
从 MSK 上的 Apache Kafka 版本 3.7.x 开始,您可以创建使用 KRaft 模式而不是 ZooKeeper 模式的集群。
生成器、使用器和主题创建者 – Amazon MSK 允许您使用 Apache Kafka 数据面板操作来创建主题以及生成和使用数据。
集群操作 您可以使用 Amazon Web Services Management Console、Amazon Command Line Interface(Amazon CLI)或 SDK 中的 API 来执行控制面板操作。例如,您可以创建或删除 Amazon MSK 集群、列出账户中的所有集群、查看集群的属性以及更新集群中代理的数量和类型。
Amazon MSK 会检测集群的最常见故障情况并自动进行恢复,以尽可能降低对生成器和使用器应用程序的影响,使它们能够继续执行写入和读取操作。当 Amazon MSK 检测到代理故障时,它会解决故障或用新的代理替换运行不正常或无法访问的代理。此外,如果可能,它会重用旧代理的存储来减少 Apache Kafka 需要复制的数据。可用性影响将仅限于 Amazon MSK 完成检测和恢复所需的时间。恢复后,生成器和使用器应用程序可以继续与发生故障前使用的相同代理 IP 地址进行通信。