Amazon MSK 限额 - Amazon Managed Streaming for Apache Kafka
请求增加 Amazon MSK 的配额标准经纪商配额快递经纪人配额MSK 复制器限额无服务器集群的限额MSK Connect 限额
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

Amazon MSK 限额

您的亚马逊 MSK Amazon Web Services 账户 有默认配额。除非另有说明，否则每个账户的每个配额在您的范围内都是特定于区域的。 Amazon Web Services 账户

请求增加 Amazon MSK 的配额

您可以使用 Service Quotas 控制台或支持案例申请增加每个区域的配额。 Amazon CLI如果 Service Quotas 控制台中没有可调整的 Amazon Support Center Console 配额，请使用创建服务配额增加案例。

Support 可以批准、拒绝或部分批准您的配额增加请求。配额增加不会立即获得批准，可能需要几天才能生效。

使用服务限额控制台请求提高限制

  1. 在 https://console.aws.amazon.com/servicequotas/ 打开 Service Quotas 控制台。

  2. 从位于屏幕顶部的导航栏中选择一个区域。

  3. 在左侧导航窗格中，选择 Amazon Web Services 服务。

  4. 在 “查找服务” 框中，键入msk，然后选择适用于 Apache Kafka 的亚马逊托管流媒体 Kafka (MSK)。

  5. 在服务配额中，选择您要申请增加配额的配额名称。例如 Number of brokers per account。

  6. 选择请求增加账户配额。

  7. 在增加配额值中，输入新的配额值。

  8. 选择请求。

  9. （可选）要在控制台中查看任何待处理的请求或最近已解决的请求，请在左侧导航窗格中选择 D as hboard。对于待处理的请求，请选择请求状态以打开收到的请求。请求的初始状态为 Pending（待处理）。状态更改为 “已申请配额” 后，您将在 Support 中看到案例编号。选择案例编号以打开请求服务单。

有关更多信息，包括如何使用 Amazon CLI 或 SDKs 请求增加配额，请参阅 Service Qu otas 用户指南中的请求增加配额。

亚马逊 MSK 标准经纪商配额

标准经纪商配额
维度 配额 备注
每个账户的经纪人 90 要申请更高的配额，请转到服务配额控制台。
每个集群的经纪商 30 代表 ZooKeeper基于群集 60 表示 KRaft基于群集 要申请更高的配额，请转到服务配额控制台。
每个代理的最低存储空间 1 GiB
每个代理的最大存储空间 16384 GiB
每个代理的最大 TCP 连接数（IAM 访问控制） 3000 要提高此限制，您可以使用 Kafka AlterConfig API 或kafka-configs.sh工具调整或listener.name.client_iam_public.max.connections配置属性。listener.name.client_iam.max.connections值得注意的是，将任一属性增加到较高的值都可能导致不可用。
每个代理的最大 TCP 连接速率 (IAM) 每秒 100 个（M5 和 m7g 实例大小）每秒 4 个（t3 实例大小） 要处理连接失败时的重试，可以在客户端设置 reconnect.backoff.ms 配置参数。例如，如果您希望客户端在 1 秒钟后重试连接，请设置reconnect.backoff.ms为。1000有关更多信息，请参阅 Apache Kafka 文档中的 reconnect.backoff.ms。
每个代理的最大 TCP 连接数（非 IAM） 不适用 MSK 不对非 IAM 身份验证强制执行连接限制。您应该监控 CPU 和内存使用率等其他指标，以确保不会因为连接过多而导致集群过载。
每个 账户的配置 100 要申请更高的配额，请转到服务配额控制台。

要更新配置或 MSK 集群的 Apache Kafka 版本，请首先确保每个代理的分区数低于 调整集群的大小：每个标准代理的分区数量 中所述的限制。
每个账户的配置修订次数 50

亚马逊 MSK 快递经纪商配额

快递经纪人配额
维度 配额 备注
每个账户的经纪人 90 要申请更高的配额，请转到服务配额控制台。
每个集群的经纪商 30 要申请更高的配额，请转到服务配额控制台。
最大存储空间 无限制
每个代理的最大 TCP 连接数（IAM 访问控制） 3000

要增加连接限制，请使用 Kafka AlterConfig API 或 kafka-configs.sh 工具调整以下配置属性之一：

  • listener.name.client_iam.max.connections

  • listener.name.client_iam_public.max.connections

将这些属性设置为较高的值可能会导致集群不可用。
每个代理的最大 TCP 连接速率 (IAM) 每秒 100 个 要处理连接失败时的重试，可以在客户端设置 reconnect.backoff.ms 配置参数。例如，如果您希望客户端在 1 秒钟后重试连接，请设置reconnect.backoff.ms为。1000有关更多信息，请参阅 Apache Kafka 文档中的 reconnect.backoff.ms。
每个代理的最大 TCP 连接数（非 IAM） 不适用 MSK 不对非 IAM 身份验证强制执行连接限制。但是，您应该监控 CPU 和内存使用率等其他指标，以确保不会因为连接过多而导致集群过载。
每个 账户的配置 100 要申请更高的配额，请转到服务配额控制台。要更新配置或 MSK 集群的 Apache Kafka 版本，请首先确保每个代理的分区数低于 正确调整集群规模：每个 Express 代理的分区数 中所述的限制。
每个账户的配置修订次数 50
每个经纪商的最大入口量 推荐：15.6-500.0 MBps 基于实例大小。
每个经纪商的最大出口 推荐：31.2-1000.0 MBps 基于实例大小。

按代理规模划分的 Express 经纪商吞吐量限制

下表列出了与不同代理规模的入口和出口相关的建议吞吐量限制和最大吞吐量限制。在此表中，建议的吞吐量以持续性能表示，这是您的应用程序不会遇到任何性能下降的阈值。如果您在任何一个维度上都超出这些限制，则可能会获得更高的吞吐量，但也可能会遇到性能下降的情况。最大配额是您的集群将限制 read/write 流量的阈值。超过此阈值后，您的应用程序将无法运行。

实例大小 入口的持续性能 (MBps) 入口的最大配额 (MBps) 出口的持续性能 (MBps) 出口的最大配额 (MBps)
express.m7g.lar 15.6 23.4 31.2 58.5
express.m7g.xlarg 31.2 46.8 62.5 117
express.m7g.2xlarge 62.5 93.7 125 234.2
express.m7g.4xlarge 124.9 187.5 249.8 468.7
express.m7g.8xlarge 250 375 500 937.5
express.m7g.12xlarge 375 562.5 750 1406.2
express.m7g.16xlarge 500 750 1000 1875

MSK 复制器限额

  • 每个账户最多 15 个 MSK 复制器。

  • MSK 复制器仅按排序顺序复制最多 750 个主题。如果需要复制更多主题，我们建议您创建一个单独的复制器。如果需要每个复制器支持超过 750 个主题，请前往服务配额控制台。您可以使用 “TopicCount” 指标监控正在复制的主题数量。

  • 每个 MSK 复制器的最大入口吞吐量为每秒 1GB。请通过服务配额控制台申请更高的配额。

  • MSK 复制器记录大小 - 最大记录大小为 10MB（message.max.bytes）。请通过服务配额控制台申请更高的配额。

MSK Serverless 限额

除非另有说明，否则下表中指定的配额是按集群计算的。

注意

如果您遇到任何与服务配额限制有关的问题，请根据您的使用场景和请求的限制创建支持案例。

维度 配额 限额违规结果

最大入口吞吐量

200 MBps

减速，响应中提供节流持续时间
最大出口吞吐量 400 MBps

减速，响应中提供节流持续时间
最长保留期 无限制 不适用

最大客户端连接数

 3000 连接关闭
最大连接尝试次数 每秒 100 个 连接关闭

最大消息大小

 8MiB 请求失败，并显示 ErrorCode：IN VALID_REQUEST
最大请求速率 每秒 15000 个 减速，响应中提供节流持续时间

主题管理 APIs 请求率的最大速率

 每秒 2 个 减速，响应中提供节流持续时间

每次请求的最大获取字节数

55MB

 请求失败，并显示 ErrorCode：IN VALID_REQUEST

最大使用器组数

 500 JoinGroup 请求失败
最大分区数（领导者） 非压缩主题为 2400。压缩主题为 120。要申请调整服务配额，请创建一个包含您的使用场景和请求的限制的支持案例。 请求失败，并显示 ErrorCode：IN VALID_REQUEST
分区创建和删除的最大速率 250（5 分钟） 请求失败，并显示 ErrorCode：吞吐量_配额_已超出

每个分区的最大入口吞吐量

 5 MBps 减速，响应中提供节流持续时间

每个分区的最大出口吞吐量

 10 MBps 减速，响应中提供节流持续时间

最大分区大小（压缩主题）

 250GB 请求失败，并显示 ErrorCode为：吞吐量_配额_已超出
每个无服务器集群的最大客户机 VPCs 数 5
每个账户的最大无服务器集群数量 10. 要申请调整服务配额，请创建一个包含您的使用场景和请求的限制的支持案例。

MSK Connect 限额

  • 最高 100 个自定义插件。

  • 最高 100 个工作程序配置。

  • 最多 60 个连接工作线程。如果将连接器设置为具有自动扩缩容量，则连接器所设置具有的工作程序最大数量就是 MSK Connect 用于计算账户限额的数量。

  • 每个连接器最多 10 个工作程序。

要为 MSK Connect 申请更高的限额，请前往服务配额控制台。