欢迎使用 Amazon MSK 开发人员指南 - Amazon Managed Streaming for Apache Kafka
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

欢迎使用 Amazon MSK 开发人员指南

欢迎使用Amazon MSK 开发人员指南. 以下主题可帮助您以尝试执行的操作为基础开始使用本指南。

有关亮点、产品详细信息和定价,请参阅 Service 页面以获取Amazon MSK.

什么是 Amazon MSK?

Amazon Managed Streaming for Apache Kafka(Amazon MSK)是一项完全托管式服务,让您能够构建并运行使用 Apache Kafka 来处理串流数据的应用程序。Amazon MSK 提供控制层面操作,例如,用于创建、更新和删除集群的操作。它允许您使用 Apache Kafka 数据层面操作,例如,用于生成和使用数据的操作。它运行 Apache Kafka 的开源版本。这意味着支持来自合作伙伴和 Apache Kafka 社区的现有应用程序、工具和插件,而无需更改应用程序代码。您可以使用 Amazon MSK 创建使用以下列出的任何 Apache Kafka 版本的集群。支持的 Apache Kafka 版本.

下图概述了 Amazon MSK 的工作原理。


      显示 Amazon MSK 集群的体系架构示意图。

该图演示了以下各个组件之间的交互:

  • 代理节点— 创建 Amazon MSK 集群时,您可以指定希望 Amazon MSK 在每个可用区中创建的代理节点数。在此图显示的示例集群中,每个可用区有一个代理。每个可用区都有自己的 Virtual Private Cloud (VPC) 子网。

  • ZooKeeper 节点— 亚马逊 MSK 还创建了 Apache ZooKeeper 节点给你。阿帕奇 ZooKeeper 是一个开源服务器,可实现高度可靠的分布式协调。

  • 制作者、消费者和主题创作者— Amazon MSK 允许您使用 Apache Kafka 数据层面操作来创建主题以及生成和使用数据。

  • 集群操作您可以使用Amazon Web Services Management Console,Amazon Command Line Interface(Amazon CLI) 或软件开发工具包中的 API 来执行控制层面操作。例如,您可以创建或删除 Amazon MSK 集群、列出账户中的所有集群、查看集群属性以及更新集群中代理的数量和类型。

Amazon MSK 检测集群最常见的故障情形并自动恢复,这样,生成器和使用器应用程序能够继续执行其写入和读取操作,而产生最小影响。当 Amazon MSK 检测到代理故障时,它会解决故障或用新的代理替换不正常或无法访问的代理。此外,如果可能,它会重用旧代理的存储来减少 Apache Kafka 需要复制的数据。可用性影响将仅限于 Amazon MSK 完成检测和恢复所需的时间。恢复后,生成器和使用器应用程序可以继续与发生故障前使用的相同代理 IP 地址进行通信。