Amazon MSK 限额 - Amazon Managed Streaming for Apache Kafka
在 Amazon MSK 中请求增加配额标准代理配额快速代理配额MSK 复制器限额无服务器集群的限额MSK Connect 限额
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

Amazon MSK 限额

您的 Amazon Web Services 账户 具有 Amazon MSK 的默认配额。除非另有说明，否则每个账户的配额都是您 Amazon Web Services 账户 内特定区域的。

在 Amazon MSK 中请求增加配额

可以使用服务配额控制台、Amazon CLI 或支持案例来为每个区域请求增加配额。如果可调整的配额在服务配额控制台中不可用，请使用 Amazon Support Center Console创建服务配额增加案例。

Support 可以批准、拒绝或部分批准您的配额增加请求。配额增加不会立即获得批准，可能需要几天才能生效。

使用服务限额控制台请求提高限制

  1. 访问 https://console.aws.amazon.com/servicequotas/，打开服务配额控制台。

  2. 从位于屏幕顶部的导航栏中选择一个区域。

  3. 在左侧导航窗格中，选择 Amazon Web Services 服务。

  4. 在“查找服务”框中，键入 msk，然后选择 Amazon Managed Streaming for Apache Kafka (MSK)

  5. 在服务配额中，选择要申请增加配额的配额名称。例如 Number of brokers per account。

  6. 选择请求增加账户配额。

  7. 对于增加配额值，输入新配额值。

  8. 选择请求。

  9. （可选）要在控制台中查看任何待处理或最近已解决的请求，请在左侧导航窗格中选择控制面板。对于待处理的请求，请选择请求状态以打开收到的请求。请求的初始状态为 Pending（待处理）。状态更改为已请求限额后，您将在 Support 中看到工单编号。选择案例编号以打开请求服务单。

有关更多信息，包括如何使用 Amazon CLI 或 SDK 请求提高限额的信息，请参阅《服务限额用户指南》中的 请求提高限额。

Amazon MSK 标准代理配额

下表描述了标准代理的配额。

维度 配额 备注
每个账户的代理数 90 要申请更高的配额，请转到服务配额控制台。
每个集群的代理数 基于 ZooKeeper 的集群为 30 个，基于 Kraft 的集群为 60 个 要申请更高的配额，请转到服务配额控制台。
每个代理的最小存储空间 1 GiB
每个代理的最大存储空间 16384 GiB
每个代理的最大 TCP 连接数（IAM 访问控制） 3000 要提高此限制，您可以使用 Kafka AlterConfig API 或 kafka-configs.sh 工具调整 listener.name.client_iam.max.connections 或 listener.name.client_iam_public.max.connections 配置属性。值得注意的是，将任一属性增加到较高的值都可能导致不可用。
每个代理的最大 TCP 连接速率 (IAM) 100/秒（M5 和 m7g 实例大小）4/秒（t3 实例大小） 要处理连接失败时的重试，可以在客户端设置 reconnect.backoff.ms 配置参数。例如，如果您希望客户端在 1 秒钟后重试连接，请将 reconnect.backoff.ms 设置为 1000。有关更多信息，请参阅 Apache Kafka 文档中的 reconnect.backoff.ms。
每个代理的最大 TCP 连接数（非 IAM） 不适用 MSK 不对非 IAM 身份验证强制执行连接限制。应监控 CPU 和内存使用量等其他指标，以确保不会因为连接数过多而导致集群过载。
每个 账户的配置 100 要申请更高的配额，请转到服务配额控制台。

要更新配置或 MSK 集群的 Apache Kafka 版本，请首先确保每个代理的分区数低于 调整集群的大小：每个标准代理的分区数量 中所述的限制。
每个账户的配置修订次数 50

Amazon MSK 快速代理配额

下表介绍了快速代理的配额。

维度 配额 备注
每个账户的代理数 90 要申请更高的配额，请转到服务配额控制台。
每个集群的代理数 30 要申请更高的配额，请转到服务配额控制台。
最大存储空间 无限制
每个代理的最大 TCP 连接数（IAM 访问控制） 3000

要增大连接限制，请使用 Kafka AlterConfig API 或 kafka-configs.sh 工具调整以下配置属性之一：

  • listener.name.client_iam.max.connections

  • listener.name.client_iam_public.max.connections

将这些属性设置为高值可能会导致集群不可用。
每个代理的最大 TCP 连接速率 (IAM) 每秒 100 个 要处理连接失败时的重试，可以在客户端设置 reconnect.backoff.ms 配置参数。例如，如果您希望客户端在 1 秒钟后重试连接，请将 reconnect.backoff.ms 设置为 1000。有关更多信息，请参阅 Apache Kafka 文档中的 reconnect.backoff.ms。
每个代理的最大 TCP 连接数（非 IAM） 不适用 MSK 不对非 IAM 身份验证强制执行连接限制。但应监控 CPU 和内存使用量等其他指标，以确保不会因为连接数过多而导致集群过载。
每个 账户的配置 100 要申请更高的配额，请转到服务配额控制台。要更新配置或 MSK 集群的 Apache Kafka 版本，请首先确保每个代理的分区数低于 调整集群的大小：每个快速代理的分区数量 中所述的限制。
每个账户的配置修订次数 50
每个代理的最大入口吞吐量 推荐：15.6 - 500.0 MBps 基于实例大小。
每个代理的最大出口吞吐量 推荐：31.2 - 1000.0 MBps 基于实例大小。

按代理大小施加的快速代理吞吐量限制

下表列出了针对不同代理大小的出入口流量的相关建议吞吐量限制和最大吞吐量限制。在此表中，建议吞吐量以持续的性能表示，这是应用程序出现性能下降前的阈值。如果在任何一个维度上超出这些限制，您可能会获得更高的吞吐量，但也可能会遇到性能下降的情况。最大配额是集群限制读/写流量的阈值。超出此阈值后，应用程序将无法运行。

实例大小 入口的持续性能 (MBps) 入口的最大配额 (MBps) 出口的持续性能 (MBps) 出口的最大配额 (MBps)
express.m7g.large 15.6 23.4 31.2 58.5
express.m7g.xlarge 31.2 46.8 62.5 117
express.m7g.2xlarge 62.5 93.7 125 234.2
express.m7g.4xlarge 124.9 187.5 249.8 468.7
express.m7g.8xlarge 250 375 500 937.5
express.m7g.12xlarge 375 562.5 750 1406.2
express.m7g.16xlarge 500 750 1000 1875

快速代理的分区配额

下表显示了建议的每个快速代理的分区数量（包括领导副本和跟随者副本）。不能超过下表提到的每个快速代理的最大分区数。

有关向快速代理分配分区时应考虑的最佳实践的信息，请参阅调整集群的大小：每个快速代理的分区数量。

代理大小 建议的每个代理的分区数量（包括领导副本和跟随者副本）。 每个代理的最大分区数

express.m7g.large

 1000 1500

express.m7g.xlarge

 1000 2000

express.m7g.2xlarge

 2500 4000

express.m7g.4xlarge

 6000 8000

express.m7g.8xlarge

 12000 16000

express.m7g.12xlarge

 16000 24000

express.m7g.16xlarge

 20000 32000

MSK 复制器限额

  • 每个账户最多 15 个 MSK 复制器。

  • MSK 复制器仅按排序顺序复制最多 750 个主题。如果需要复制更多主题，我们建议您创建一个单独的复制器。如果需要每个复制器支持超过 750 个主题，请前往服务配额控制台。您可以使用“TopicCount”指标监控正在复制的主题数量。

  • 每个 MSK 复制器的最大入口吞吐量为每秒 1GB。请通过服务配额控制台申请更高的配额。

  • MSK 复制器记录大小 - 最大记录大小为 10MB（message.max.bytes）。请通过服务配额控制台申请更高的配额。

MSK Serverless 限额

除非另有说明，否则下表中指定的配额为每个集群的配额。

注意

如果您遇到任何与服务配额限制有关的问题，请根据您的使用场景和请求的限制创建支持案例。

维度 配额 限额违规结果

最大入口吞吐量

200MBps

减速，响应中提供节流持续时间
最大出口吞吐量 400MBps

减速，响应中提供节流持续时间
最长保留期 无限制 不适用

最大客户端连接数

 3000 连接关闭
最大连接尝试次数 每秒 100 个 连接关闭

最大消息大小

 8MiB 请求失败并显示错误代码：INVALID_REQUEST
最大请求速率 每秒 15000 个 减速，响应中提供节流持续时间

主题管理 API 最大请求速率

 每秒 2 个 减速，响应中提供节流持续时间

每次请求的最大获取字节数

55MB

 请求失败并显示错误代码：INVALID_REQUEST

最大使用器组数

 500 JoinGroup 请求失败
最大分区数（领导者） 非压缩主题为 2400。压缩主题为 120。要申请调整服务配额，请创建一个包含您的使用场景和请求的限制的支持案例。 请求失败并显示错误代码：INVALID_REQUEST
分区创建和删除的最大速率 250（5 分钟） 请求失败并显示错误代码：THROUGHPUT_QUOTA_EXCEEDED

每个分区的最大入口吞吐量

 5Mbps 减速，响应中提供节流持续时间

每个分区的最大出口吞吐量

 10Mbps 减速，响应中提供节流持续时间

最大分区大小（压缩主题）

 250GB 请求失败并显示错误代码：THROUGHPUT_QUOTA_EXCEEDED
每个无服务器集群的最大客户端 VPC 数量 5
每个账户的最大无服务器集群数量 10. 要申请调整服务配额，请创建一个包含您的使用场景和请求的限制的支持案例。

MSK Connect 限额

  • 最高 100 个自定义插件。

  • 最高 100 个工作程序配置。

  • 最多 60 个连接工作线程。如果将连接器设置为具有自动扩缩容量，则连接器所设置具有的工作程序最大数量就是 MSK Connect 用于计算账户限额的数量。

  • 每个连接器最多 10 个工作程序。

要为 MSK Connect 申请更高的限额，请前往服务配额控制台。