支持的 Apache Kafka 版本 - Amazon Managed Streaming for Apache Kafka
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

支持的 Apache Kafka 版本

Amazon Managed Streaming for Apache Kafka(Amazon MSK)支持以下 Apache Kafka 和 Amazon MSK 版本。Apache Kafka 社区在版本发布日期之后为其提供大约 12 个月的支持。有关更多详细信息,请查看 Apache Kafka EOL(生命周期终止)政策

支持的 Kafka 版本
Kafka 版本 MSK 发布日期 支持终止日期
1.1.1 -- 2024-06-05
2.1.0 -- 2024-06-05
2.2.1 2019-07-31 2024-06-08
2.3.1 2019-12-19 2024-06-08
2.4.1 2020-04-02 2024-06-08
2.4.1.1 2020-09-09 2024-06-08
2.5.1 2020-09-30 2024-06-08
2.6.0 2020-10-21 --
2.6.1 2021-01-19 --
2.6.2 2021-04-29 --
2.6.3 2021-12-21 --
2.7.0 2020-12-29 --
2.7.1 2021-05-25 --
2.7.2 2021-12-21 --
2.8.0 -- --
2.8.1 2022-10-28 --
2.8.2 层 2022-10-28 --
3.1.1 2022-06-22 --
3.2.0 2022-06-22 --
3.3.1 2022-10-26 --
3.3.2 2023-03-02 --
3.4.0 2023-05-04 --
3.5.1(推荐使用) 2023-09-26 --
3.6.0 2023-11-16 --

有关 Amazon MSK 版本支持政策的更多信息,请参阅亚马逊 MSK 版本支持政策

Apache Kafka 版本 3.6.0(支持生产就绪的分层存储)

有关 Apache Kafka 版本 3.6.0(支持生产就绪的分层存储)的信息,请参阅 Apache Kafka 下载网站上的 Release Notes

为了稳定起见,在本版本中,Amazon MSK 将继续使用和管理 Zookeeper 以进行仲裁管理。

Amazon MSK 分层存储版本 2.8.2.tiered

此版本是 Apache Kafka 版本 2.8.2 的仅限 Amazon MSK 版本,与开源 Apache Kafka 客户端兼容。

2.8.2.tiered 版本包含分层存储功能,该功能与 KIP-405 for Apache Kafka 中介绍的 API 兼容。有关 Amazon MSK 分层存储功能的更多信息,请参阅 分层存储

Apache Kafka 版本 2.5.1

Apache Kafka 版本 2.5.1 包含多个错误修复和新功能,包括针对 Ap ZooKeeper ache 和管理客户端的传输加密。Amazon MSK 提供了 TLS ZooKeeper 终端节点,您可以通过DescribeCluster 操作查询这些终端节点。

DescribeCluster操作的输出包括ZookeeperConnectStringTls节点,该节点列出了 TLS zookeeper 端点。

以下示例显示了 DescribeCluster 操作的响应 ZookeeperConnectStringTls 节点:

"ZookeeperConnectStringTls": "z-3.awskafkatutorialc.abcd123.c3.kafka.us-east-1.amazonaws.com:2182,z-2.awskafkatutorialc.abcd123.c3.kafka.us-east-1.amazonaws.com:2182,z-1.awskafkatutorialc.abcd123.c3.kafka.us-east-1.amazonaws.com:2182"

有关将 TLS 加密用于 Zookeeper 的信息,请参阅 在 Apache 中使用 TLS 安全性 ZooKeeper

有关 Apache Kafka 版本 2.5.1 的更多信息,请参阅 Apache Kafka 下载网站上的 Release Notes

Amazon MSK 错误修复版本 2.4.1.1

此版本是 Apache Kafka 版本 2.4.1 的仅限 Amazon MSK 的错误修复版本。此错误修复版本包含 KAFKA-9752 的修复程序,这是一个极少出现的问题,会导致使用器组不断重新平衡并保持 PreparingRebalance 状态。此问题会影响运行 Apache Kafka 版本 2.3.1 和 2.4.1 的集群。此版本包含社区制作的修复程序,可用于 Apache Kafka 版本 2.5.0。

注意

运行版本 2.4.1.1 的 Amazon MSK 集群与兼容 Apache Kafka 版本 2.4.1 的任何 Apache Kafka 客户端兼容。

如果您更喜欢使用 Apache Kafka 2.4.1,建议您对新的 Amazon MSK 集群使用 MSK 错误修复版本 2.4.1.1。您可以将运行 Apache Kafka 版本 2.4.1 的现有集群更新为此版本,以加入此修复程序。有关升级现有集群的信息,请参阅 更新 Apache Kafka 版本

要在不将集群升级到 2.4.1.1 版本的情况下解决此问题,请参阅 对 Amazon MSK 集群进行问题排查 指南的 使用器组卡滞在 PreparingRebalance 状态 部分。

Apache Kafka 版本 2.4.1(改用 2.4.1.1 版)

注意

您无法再使用 Apache Kafka 版本 2.4.1 创建新的 MSK 集群。相反,您可以将 Amazon MSK 错误修复版本 2.4.1.1 与兼容 Apache Kafka 版本 2.4.1 的客户端结合使用。而且,如果已经拥有使用 Apache Kafka 版本 2.4.1 的 MSK 集群,建议您将其更新为使用 Apache Kafka 版本 2.4.1.1。

KIP-392 是 Apache Kafka 2.4.1 版中包含的重要 Kafka 改进建议之一。此项改进允许使用器从最近的副本提取。要使用此功能,请将使用器属性中的 client.rack 设置为使用器可用区的 ID。可用区 ID 的其中一个例子是 use1-az1。Amazon MSK 会将 broker.rack 设置为代理可用区 ID。您还必须将 replica.selector.class 配置属性设置为 org.apache.kafka.common.replica.RackAwareReplicaSelector,这是 Apache Kafka 提供的 rack 感知的一种实现方式。

当您使用此版本的 Apache Kafka 时,PER_TOPIC_PER_BROKER 监控级别中的指标仅在其值首次变为非零后才会显示。有关此问题的更多信息,请参阅 PER_TOPIC_PER_BROKER 级别监控

有关如何查找可用区 ID 的信息,请参阅《Amazon Resource Access Manager 用户指南》中的 AZ IDs for Your Resource

有关设置配置属性的信息,请参阅Amazon MSK 配置

有关 KIP-392 的更多信息,请参阅 Confluence 页面中的允许使用器从最近的副本提取

有关 Apache Kafka 版本 2.4.1 的更多信息,请参阅 Apache Kafka 下载网站上的版本说明