本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
支持的 Apache Kafka 版本
适用于 Apache Kafka 的亚马逊托管流媒体 Kafka(MSK亚马逊)支持以下 Apache Kafk MSK a 和亚马逊版本。Apache Kafka 社区在版本发布日期之后为其提供大约 12 个月的支持。有关更多详细信息,请查看 Apache KafkaEOL(生命周期终止)政策
Apache Kafka 版本 | MSK 发行日期 | 支持终止日期 |
---|---|---|
1.1.1 |
-- | 2024-06-05 |
2.1.0 |
-- | 2024-06-05 |
2.2.1 |
2019-07-31 | 2024-06-08 |
2.3.1 |
2019-12-19 | 2024-06-08 |
2.4.1 |
2020-04-02 | 2024-06-08 |
2.4.1.1 |
2020-09-09 | 2024-06-08 |
2.5.1 |
2020-09-30 | 2024-06-08 |
2.6.0 |
2020-10-21 | 2024-09-11 |
2.6.1 |
2021-01-19 | 2024-09-11 |
2.6.2 |
2021-04-29 | 2024-09-11 |
2.6.3 |
2021-12-21 | 2024-09-11 |
2.7.0 |
2020-12-29 | 2024-09-11 |
2.7.1 |
2021-05-25 | 2024-09-11 |
2.7.2 |
2021-12-21 | 2024-09-11 |
2.8.0 |
-- | 2024-09-11 |
2.8.1 |
2022-10-28 | 2024-09-11 |
2.8.2 层 |
2022-10-28 | 2025-01-14 |
3.1.1 |
2022-06-22 | 2024-09-11 |
3.2.0 |
2022-06-22 | 2024-09-11 |
3.3.1 |
2022-10-26 | 2024-09-11 |
3.3.2 |
2023-03-02 | 2024-09-11 |
3.4.0 |
2023-05-04 | 2025-06-17 |
3.5.1(推荐使用) |
2023-09-26 | -- |
3.6.0 |
2023-11-16 | -- |
3.7.x |
2024-05-29 | -- |
有关 Amazon MSK 版本支持政策的更多信息,请参阅亚马逊MSK版本支持政策。
Apache Kafka 版本 3.7.x(具有生产就绪的分层存储)
Apache Kafka 3.7.x 版本MSK包括对 Apache Kafka 版本 3.7.0 的支持。您可以创建集群或升级现有集群以使用新的 3.7.x 版本。通过版本命名的这一更改,您不再需要采用较新的补丁修复版本,例如由 Apache Kafka 社区发布的 3.7.1。3.7.x 版本发布后,亚马逊MSK将自动更新以支持未来的补丁版本。这样,您就可以在不触发版本升级的情况下从补丁修复版本提供的安全性和错误修复中受益。Apache Kafka 发布的这些补丁修复版本不会破坏版本兼容性,您可以从新的补丁修复版本中受益,而不必担心客户端应用程序会出现读取或写入错误。请确保您的基础设施自动化工具(例如)已更新 CloudFormation,以应对版本命名的这一变化。
亚马逊MSK现在支持 Apache Kafka 版本 3.7.x 中的KRaft模式(Apache Kafka Raft)。与 ZooKeeper 节点一样MSK,在 Amazon 上,KRaft控制器包含在内,您无需支付任何额外费用,也不需要您进行额外的设置或管理。现在,你可以在 Apache Kafka 版本 3. ZooKeeper 7.x 上以两种KRaft模式或模式创建集群。在 Kraft 模式下,与基于 Zookeeper 的集群上的 30 个代理配额相比,您最多可以添加 60 个代理来为每个集群托管更多分区,而无需请求提高限制。要了解有关 KRaft on 的更多信息MSK,请参阅KRaft模式。
Apache Kafka 3.7.x 版本还包括一些错误修复和可提高性能的新功能。主要改进包括针对客户端的领导者发现优化和日志段刷新优化选项。有关改进和错误修复的完整列表,请参阅 Apache Kafka 3.7.0 版本说明。
Apache Kafka 版本 3.6.0(支持生产就绪的分层存储)
有关 Apache Kafka 版本 3.6.0(支持生产就绪的分层存储)的信息,请参阅 Apache Kafka 下载网站上的 Release Notes
为了稳定起见,在本版本中,亚马逊MSK将继续使用和管理Zookeeper进行法定人数管理。
亚马逊 3. MSK 5.1 版
适用于 Apache Kafka 的亚马逊托管流媒体 Kafka(MSK亚马逊)现在支持新集群和现有集群的 Apache Kafka 版本 3.5.1。Apache Kafka 3.5.1 包含多个错误修复和可提高性能的新功能。主要功能包括为消费者引入新的机架感知分区分配。在本版本中,亚马逊MSK将继续使用和管理 Zookeeper 进行法定人数管理。有关改进和错误修复的完整列表,请参阅 3.5.1 版 Apache Kafka 发行说明。
有关 Apache Kafka 版本 3.5.1 的信息,请参阅 Apache Kafka 下载网站上的 Release Notes
亚马逊 3.4.0 MSK 版
适用于 Apache Kafka 的亚马逊托管流媒体 Kafka(MSK亚马逊)现在支持新集群和现有集群的 Apache Kafka 版本 3.4.0。Apache Kafka 3.4.0 包含多个错误修复和可提高性能的新功能。主要功能包括一个修复程序,该修复程序可提高从最近的副本中获取的稳定性。在本版本中,亚马逊MSK将继续使用和管理 Zookeeper 进行法定人数管理。有关改进和错误修复的完整列表,请参阅 Apache Kafka 3.4.0 版本说明。
有关 Apache Kafka 版本 3.4.0 的信息,请参阅 Apache Kafka 下载网站上的 Release Notes
亚马逊 3.3.2 MSK 版
适用于 Apache Kafka 的亚马逊托管流媒体 Kafka(MSK亚马逊)现在支持新集群和现有集群的 Apache Kafka 版本 3.3.2。Apache Kafka 3.3.2 包含多个错误修复和可提高性能的新功能。主要功能包括一个修复程序,该修复程序可提高从最近的副本中获取的稳定性。在本版本中,亚马逊MSK将继续使用和管理 Zookeeper 进行法定人数管理。有关改进和错误修复的完整列表,请参阅 3.3.2 版 Apache Kafka 发行说明。
有关 Apache Kafka 版本 3.3.2 的信息,请参阅 Apache Kafka 下载网站上的 Release Notes
亚马逊 3.3.1 MSK 版
适用于 Apache Kafka 的亚马逊托管流媒体 Kafka(MSK亚马逊)现在支持新集群和现有集群的 Apache Kafka 版本 3.3.1。Apache Kafka 3.3.1 包含多个错误修复和可提高性能的新功能。一些关键功能包括对指标和分区器的增强。为了稳定起见,在本版本中,亚马逊MSK将继续使用和管理Zookeeper进行法定人数管理。有关改进和错误修复的完整列表,请参阅 Apache Kafka 3.1 版本说明。
有关 Apache Kafka 版本 3.3.1 的信息,请参阅 Apache Kafka 下载网站上的 Release Notes
亚马逊 3.1.1 MSK 版
适用于 Apache Kafka 的亚马逊托管流媒体 Kafka(MSK亚马逊)现在支持新集群和现有集群的 Apache Kafka 版本 3.1.1 和 3.2.0。Apache Kafka 3.1.1 和 Apache Kafka 3.2.0 包含多个错误修复和可提高性能的新功能。一些关键功能包括对指标的增强和主题的使用IDs。MSK为了稳定起见,将在本版本中继续使用和管理 Zookeeper 进行法定人数管理。有关改进和错误修复的完整列表,请参阅 3.1.1 和 3.2.0 的 Apache Kafka 发行说明。
有关 Apache Kafka 版本 3.1.1 和 3.2.0 的信息,请参阅 Apache Kafka 下载网站上的 3.2.0 发行说明
亚马逊MSK分层存储版本 2.8.2 分层
此版本是 Apache Kafka 版本 2.8.2 的MSK仅限亚马逊版本,与开源 Apache Kafka 客户端兼容。
2.8.2.tiered 版本包含分层存储功能,该功能与 Apache Kafka 在 KIP-40
Apache Kafka 版本 2.5.1
Apache Kafka 版本 2.5.1 包含多个错误修复和新功能,包括针对 Ap ZooKeeper ache 和管理客户端的传输加密。Amazon MSK 提供了TLS ZooKeeper 终端节点,您可以通过DescribeCluster 操作查询这些终端节点。
该 DescribeCluster操作的输出包括ZookeeperConnectStringTls
节点,其中列出了 TLS zookeeper 端点。
以下示例显示了 DescribeCluster
操作的响应 ZookeeperConnectStringTls
节点:
"ZookeeperConnectStringTls": "z-3.awskafkatutorialc.abcd123.c3.kafka.us-east-1.amazonaws.com:2182,z-2.awskafkatutorialc.abcd123.c3.kafka.us-east-1.amazonaws.com:2182,z-1.awskafkatutorialc.abcd123.c3.kafka.us-east-1.amazonaws.com:2182"
有关在 zookeeper 中使用TLS加密的信息,请参阅。在 Apache 中使用TLS安全性 ZooKeeper
有关 Apache Kafka 版本 2.5.1 的更多信息,请参阅 Apache Kafka 下载网站上的 Release Notes
亚马逊MSK错误修复版本 2.4.1.1
此版本是 Apache K MSK afka 版本 2.4.1 的仅限亚马逊的错误修复版本。此错误修复版本包含对 KAFKA-9752PreparingRebalance
此问题会影响运行 Apache Kafka 版本 2.3.1 和 2.4.1 的集群。此版本包含社区制作的修复程序,可用于 Apache Kafka 版本 2.5.0。
注意
运行 2.4.1.1 版的亚马逊MSK集群与任何与 Apache Kafka 版本 2.4.1 兼容的 Apache Kafka 客户端兼容。
如果您更喜欢使用 Apache MSK Kafka 2.4.1,我们建议您在新的亚马逊MSK集群中使用错误修复版本 2.4.1.1。您可以将运行 Apache Kafka 版本 2.4.1 的现有集群更新为此版本,以加入此修复程序。有关升级现有集群的信息,请参阅 更新 Apache Kafka 版本。
要在不将集群升级到 2.4.1.1 版本的情况下解决此问题,请参阅 对您的亚马逊MSK集群进行故障排除 指南的 使用器组卡滞在 PreparingRebalance 状态 部分。
Apache Kafka 版本 2.4.1(改用 2.4.1.1 版)
注意
你无法再使用 Apache Kafka 版本 2.4.1 创建MSK集群。相反,您可以将 亚马逊MSK错误修复版本 2.4.1.1 与兼容 Apache Kafka 版本 2.4.1 的客户端结合使用。而且,如果你已经有一个 Apache Kafka 版本 2.4.1 的MSK集群,我们建议你将其更新为改用 Apache Kafka 版本 2.4.1.1。
KIP-392 是 Apache Kafka 2.4.1 版本中包含的关键 Kafka 改进提案之一。此项改进允许使用器从最近的副本提取。要使用此功能,请将使用器属性中的 client.rack
设置为使用器可用区的 ID。可用区 ID 的其中一个例子是 use1-az1
。Amazon MSK 设置broker.rack
IDs了经纪商的可用区。您还必须将 replica.selector.class
配置属性设置为 org.apache.kafka.common.replica.RackAwareReplicaSelector
,这是 Apache Kafka 提供的 rack 感知的一种实现方式。
当您使用此版本的 Apache Kafka 时,PER_TOPIC_PER_BROKER
监控级别中的指标仅在其值首次变为非零后才会显示。有关此问题的更多信息,请参阅 PER_TOPIC_PER_BROKER 级别监控。
有关如何查找可用区的信息IDs,请参阅 Amazon Resource Access Manager 用户指南中的资源可用IDs区。
有关设置配置属性的信息,请参阅亚马逊MSK配置。
有关 KIP -392 的更多信息,请参阅 Confluence 页面中的允许使用者从最近的副本中获取
有关 Apache Kafka 版本 2.4.1 的更多信息,请参阅 Apache Kafka 下载网站上的版本说明