Amazon MSK 快速代理 - Amazon Managed Streaming for Apache Kafka
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon MSK 快速代理

预置 MSK 的快速代理简化了 Apache Kafka 的管理,提高了大规模运行的成本效益,并在预期的低延迟下更具弹性。代理包括可自动扩展的 pay-as-you-go存储,无需调整规模、配置或主动监控。根据所选实例大小,每个代理节点相较于标准 Apache Kafka 代理,可提供高达 3 倍的单代理吞吐量、20 倍的扩展速度,并将恢复速度提高 90%。快速代理预配置了 Amazon MSK 的最佳实践默认值,并强制执行客户端吞吐量配额,以最大限度地减少客户端与 Kafka 后台操作之间的资源争用。

以下是使用快速代理时需要考虑的一些关键因素和功能。

  • 无需管理存储:快速代理无需预配置或管理任何存储资源。您可以获得弹性、几乎无限量且完全托管的存储。 pay-as-you-go对于高吞吐量用例,无需考虑计算实例与存储卷之间的交互以及相关的吞吐量瓶颈。这些功能简化了集群管理,并消除了存储管理的操作开销。

  • 更快的扩展速度:快速代理扩展集群和移动分区的速度最高比标准代理快 20 倍。当需要横向扩展集群以应对即将到来的负载峰值,或横向缩减集群以降低成本时,此功能至关重要。有关扩展集群的更多详细信息,请参阅扩展集群移除代理、重新分配分区和设置 LinkedIn Cruise Control 进行再平衡的部分。

  • 更高的吞吐量:快速代理为提供的单代理吞吐量是标准代理的三倍之多。例如,对于每个 m7g.16xlarge 大小 Express 代理,您可以安全地以高达 500 MBps 的速度写入数据,而同等标准代理 MBps 上的数据写入速度为 153.8(这两个数字都假设为后台操作(例如复制和重新平衡)分配了足够的带宽)。

  • 采用高弹性配置:快速代理会自动提供各种最佳实践,以提高集群的弹性。其中包括针对关键 Apache Kafka 配置的安全护栏、吞吐量配额以及用于后台操作和计划外修复的容量预留。借助于这些功能,可以更安全、更轻松地运行大规模的 Apache Kafka 应用程序。有关更多详细信息,请参阅快速代理配置Amazon MSK 快速代理配额部分。

  • 无维护窗口:快速代理没有维护窗口。Amazon MSK 会持续自动更新集群硬件。有关更多详细信息,请参阅为快速代理打补丁

有关快速代理的其他信息

  • 快递代理使用 Apache Kafka APIs,但尚未完全支持 KStreams API。

  • 快递经纪商仅在 3 种AZs 配置中可用。

  • 快速代理仅适用于特定实例大小。有关更新的列表,请参阅 Amazon MSK 定价

  • 以下 Apache Kafka 版本支持 Express 代理:3.6、3.8 和 3.9。

  • 可以使用 Apache Kafka 版本 3.9 及以后的 KRaft 模式创建快递代理。

查看这些博客

有关 MSK 快速代理的更多信息,以及要查看在用快速代理的真实示例,请阅读以下博客: