Amazon MSK 限额 - Amazon Managed Streaming for Apache Kafka
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

Amazon MSK 限额

您的 Amazon 账户具有 Amazon MSK 的默认配额。除非另有说明,否则每个账户的配额都是您 Amazon 账户内特定区域的。

Amazon MSK 限额

  • 每个账户最多 90 个代理。每个 ZooKeeper 模式集群 30 个代理。每个 KRaft 模式集群 60 个代理。要申请更高的配额,请转到服务配额控制台

  • 每个代理的最低存储空间为 1GiB。

  • 每个代理的最高存储空间为 16384GiB。

  • 在任何给定时间内,使用 IAM 访问控制 的集群每个代理最多可以有 3000 个 TCP 连接。要提高此限制,您可以使用 Kafka AlterConfig API 或 kafka-configs.sh 工具调整 listener.name.client_iam.max.connectionslistener.name.client_iam_public.max.connections 配置属性。值得注意的是,将任一属性增加到较高的值都可能导致不可用。

  • 对 TCP 连接的限制。启用连接速率突发后,MSK 允许每秒 100 个连接。例外情况是 kafka.t3.small 实例类型,启用连接速率突发后,其允许每秒 4 个连接。未启用连接速率突发的旧集群将在修补集群时将自动启用该功能。

    要处理连接失败时的重试,可以在客户端设置 reconnect.backoff.ms 配置参数。例如,如果您希望客户端在 1 秒钟后重试连接,请将 reconnect.backoff.ms 设置为 1000。有关更多信息,请参阅 Apache Kafka 文档中的 reconnect.backoff.ms

  • 每个账户具有最多 100 项配置。要通过服务配额申请增加限制,请前往服务配额控制台

  • 每个配置最多 50 个版本。

  • 要更新配置或 MSK 集群的 Apache Kafka 版本,请首先确保每个代理的分区数低于 调整集群的大小:每个代理的分区数量 中所述的限制。

MSK 复制器限额

  • 每个账户最多 15 个 MSK 复制器。

  • MSK 复制器仅按排序顺序复制最多 750 个主题。如果需要复制更多主题,我们建议您创建一个单独的复制器。如果需要每个复制器支持超过 750 个主题,请前往服务配额控制台。您可以使用“TopicCount”指标监控正在复制的主题数量。

  • 每个 MSK 复制器的最大入口吞吐量为每秒 1GB。请通过服务配额控制台申请更高的配额。

  • MSK 复制器记录大小 - 最大记录大小为 10MB(message.max.bytes)。请通过服务配额控制台申请更高的配额。

MSK Serverless 限额

注意

如果您遇到任何与服务配额限制有关的问题,请根据您的使用场景和请求的限制创建支持案例。

除非另有说明,否则限制按每个集群计算。
维度 限额 限额违规结果

最大入口吞吐量

200MBps

减速,响应中提供节流持续时间

最大出口吞吐量 400MBps

减速,响应中提供节流持续时间

最长保留期 无限制 不适用

最大客户端连接数

3000 连接关闭
最大连接尝试次数 每秒 100 个 连接关闭

最大消息大小

8 MB 请求失败并显示错误代码:INVALID_REQUEST
最大请求速率 每秒 15000 个 减速,响应中提供节流持续时间

主题管理 API 最大请求速率

每秒 2 个 减速,响应中提供节流持续时间

每次请求的最大获取字节数

55MB

请求失败并显示错误代码:INVALID_REQUEST

最大使用器组数

500 JoinGroup 请求失败
最大分区数(领导者) 非压缩主题为 2400。压缩主题为 120。要申请调整服务配额,请创建一个包含您的使用场景和请求的限制的支持案例。 请求失败并显示错误代码:INVALID_REQUEST
分区创建和删除的最大速率 250(5 分钟) 请求失败并显示错误代码:THROUGHPUT_QUOTA_EXCEEDED

每个分区的最大入口吞吐量

5Mbps 减速,响应中提供节流持续时间

每个分区的最大出口吞吐量

10Mbps 减速,响应中提供节流持续时间

最大分区大小(压缩主题)

250GB 请求失败并显示错误代码:THROUGHPUT_QUOTA_EXCEEDED
每个无服务器集群的最大客户端 VPC 数量 5
每个账户的最大无服务器集群数量 10. 要申请调整服务配额,请创建一个包含您的使用场景和请求的限制的支持案例。

MSK Connect 限额

  • 最高 100 个自定义插件。

  • 最高 100 个工作程序配置。

  • 最多 60 个连接工作线程。如果将连接器设置为具有自动扩缩容量,则连接器所设置具有的工作程序最大数量就是 MSK Connect 用于计算账户限额的数量。

  • 每个连接器最多 10 个工作程序。

要为 MSK Connect 申请更高的限额,请前往服务配额控制台