Amazon MSK 限额 - Amazon Managed Streaming for Apache Kafka
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon MSK 限额

您的 Amazon 账户有亚马逊 MSK 的默认配额。除非另有说明,否则每个账户的每个配额在您的账户中都是特定区域的。 Amazon

Amazon MSK 限额

  • 每个账户最多 90 个经纪人。每个 ZooKeeper 模式集群 30 个经纪人。每个 Kraft 模式集群 60 个经纪人。要申请更高的配额,请前往 Amazon 控制台 Support Center 并创建支持案例

  • 每个代理的最低存储空间为 1GiB。

  • 每个代理的最高存储空间为 16384GiB。

  • 在任何给定时间内,使用 IAM 访问控制 的集群每个代理最多可以有 3000 个 TCP 连接。要提高此限制,您可以使用 Kafka AlterConfig API 或kafka-configs.sh工具调整或listener.name.client_iam_public.max.connections配置属性。listener.name.client_iam.max.connections值得注意的是,将任一属性增加到较高的值都可能导致不可用。

  • 对 TCP 连接的限制。启用连接速率突发后,MSK 允许每秒 100 个连接。唯一的例外是 kafka.t3.small 实例类型,在启用连接速率突发的情况下,允许每秒 4 个连接。未启用连接速率突发的旧集群将在群集修补时自动启用该功能。

    要处理连接失败时的重试,可以在客户端设置 reconnect.backoff.ms 配置参数。例如,如果您希望客户端在 1 秒钟后重试连接,请将 reconnect.backoff.ms 设置为 1000。有关更多信息,请参阅 Apache Kafka 文档中的 reconnect.backoff.ms

  • 每个账户具有最多 100 项配置。要请求限额调整,请前往 Amazon 控制台支持中心并创建支持案例

  • 每个配置最多 50 个版本。

  • 要更新配置或 MSK 集群的 Apache Kafka 版本,请首先确保每个代理的分区数低于 调整集群的大小:每个代理的分区数量 中所述的限制。

MSK 复制器限额

  • 每个账户最多 15 个 MSK 复制器。

  • MSK Replicator 最多只能按排序顺序复制 750 个主题。如果您需要复制更多主题,我们建议您单独创建一个 Replicator。如果您需要为每个 Replicator 提供超过 750 个主题的支持,请前往 Amazon 控制台 Support Center 并创建支持案例。您可以使用 “TopicCount” 指标监控正在复制的主题数量。

  • 每个 MSK 复制器的最大入口吞吐量为每秒 1GB。要申请更高的配额,请前往 Amazon 控制台 Support Center 并创建支持案例

  • MSK Replicator 记录大小-最大记录大小为 10MB(message.max.bytes)。要申请更高的配额,请前往 Amazon 控制台 Support Center 并创建支持案例

MSK Serverless 限额

注意

如果您在配额限制方面遇到任何问题,请通过创建 Amazon 支持案例与 S upport 联系。

除非另有说明,否则限制按每个集群计算。
维度 限额 限额违规结果

最大入口吞吐量

200MBps

减速,响应中提供节流持续时间

最大出口吞吐量 400MBps

减速,响应中提供节流持续时间

最长保留期 无限制 不适用

最大客户端连接数

3000 连接关闭
最大连接尝试次数 每秒 100 个 连接关闭

最大消息大小

8 MB 请求失败,并显示 ErrorCode:IN VALID_REQUEST
最大请求速率 每秒 15000 个 减速,响应中提供节流持续时间

主题管理 API 最大请求速率

每秒 2 个 减速,响应中提供节流持续时间

每次请求的最大获取字节数

55MB

请求失败,并显示 ErrorCode:IN VALID_REQUEST

最大使用器组数

500 JoinGroup 请求失败
最大分区数(领导者) 非压缩主题为 2400。压缩主题为 120。要申请配额调整,请前往 Amazon 控制台 Support Center 并创建支持案例 请求失败,并显示 ErrorCode:IN VALID_REQUEST
分区创建和删除的最大速率 250(5 分钟) 请求失败,并显示 ErrorCode:吞吐量_配额_已超过

每个分区的最大入口吞吐量

5Mbps 减速,响应中提供节流持续时间

每个分区的最大出口吞吐量

10Mbps 减速,响应中提供节流持续时间

最大分区大小(压缩主题)

250GB 请求失败,并显示 ErrorCode:吞吐量_配额_已超过
每个无服务器集群的最大客户端 VPC 数量 5
每个账户的最大无服务器集群数量 10. 要申请配额调整,请前往 Amazon 控制台 Support Center 并创建支持案例

MSK Connect 限额

  • 最高 100 个自定义插件。

  • 最高 100 个工作程序配置。

  • 最多 60 个连接工作线程。如果将连接器设置为具有自动扩缩容量,则连接器所设置具有的工作程序最大数量就是 MSK Connect 用于计算账户限额的数量。

  • 每个连接器最多 10 个工作程序。

要为 MSK Connect 申请更高的配额,请前往 Amazon 控制台支持中心并创建支持案例