欢迎使用《Amazon MSK 开发人员指南》 - Amazon Managed Streaming for Apache Kafka
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

欢迎使用《Amazon MSK 开发人员指南》

欢迎使用《Amazon MSK 开发人员指南》。以下主题可帮助您根据自己的需求开始使用本指南。

有关亮点、产品详细信息和定价,请参阅 Amazon MSK 服务页面。

什么是 Amazon MSK?

Amazon Managed Streaming for Apache Kafka(Amazon MSK)是一项完全托管式服务,让您能够构建并运行使用 Apache Kafka 来处理串流数据的应用程序。Amazon MSK 提供控制面板操作,例如,用于创建、更新和删除集群的操作。它允许您使用 Apache Kafka 数据层面操作,例如,用于生成和使用数据的操作。它运行 Apache Kafka 的开源版本。这意味着支持来自合作伙伴和 Apache Kafka 社区的现有应用程序、工具和插件,而无需更改应用程序代码。您可以使用 Amazon MSK 创建使用 支持的 Apache Kafka 版本 下列出的任何 Apache Kafka 版本的集群。

下图概述了 Amazon MSK 的工作原理。

显示示例 Amazon MSK 集群的架构的示意图。

该图演示了以下各个组件之间的交互:

  • 代理节点 – 创建 Amazon MSK 集群时,您可以指定 Amazon MSK 要在每个可用区中创建的代理节点数。在此图显示的示例集群中,每个可用区有一个代理。每个可用区都有自己的 Virtual Private Cloud (VPC) 子网。

  • ZooKeeper 节点 — Amazon MSK 还会为您创建 Apache ZooKeeper 节点。Apache ZooKeeper 是一款开源服务器,可实现高度可靠的分布式协调。

  • 生成器、使用器和主题创建者 – Amazon MSK 允许您使用 Apache Kafka 数据面板操作来创建主题以及生成和使用数据。

  • 集群操作您可以使用 SDK 中的、 Amazon Command Line Interface (Amazon CLI) 或 API 来执行控制平面操作。 Amazon Web Services Management Console例如,您可以创建或删除 Amazon MSK 集群、列出账户中的所有集群、查看集群的属性以及更新集群中代理的数量和类型。

Amazon MSK 会检测集群的最常见故障情况并自动进行恢复,以尽可能降低对生成器和使用器应用程序的影响,使它们能够继续执行写入和读取操作。当 Amazon MSK 检测到代理故障时,它会解决故障或用新的代理替换运行不正常或无法访问的代理。此外,如果可能,它会重用旧代理的存储来减少 Apache Kafka 需要复制的数据。可用性影响将仅限于 Amazon MSK 完成检测和恢复所需的时间。恢复后,生成器和使用器应用程序可以继续与发生故障前使用的相同代理 IP 地址进行通信。