View a markdown version of this page

使用管理亚马逊 msk 技能分析最佳实践 - Amazon Managed Streaming for Apache Kafka
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用管理亚马逊 msk 技能分析最佳实践

该managing-amazon-msk技能是代理技能网站上的 “代理技能” 网站上的开源代理技能 GitHub ,可为操作 Amazon MSK 预配置集群提供域专业知识。Amazon在 MCP-compatible AI 编码代理(例如Kiro、CursorClaude Code、等)中安装该技能后,该技能可让 AI 代理帮助您根据最佳实践评估集群和客户端,诊断操作问题,并为标准和快递代理和Kafka客户端实施推荐的配置。该技能对通用人工智能模型经常错误应用或遗漏的 MSK-specific 操作知识进行编码。

功能

该技能涵盖以下领域,每个领域都与本指南中记录的最佳实践相对应。

最佳实践领域 该技能可以帮助你做什么
1 标准代理的最佳实践(标准) 评估每个代理的分区数量,推荐实例大小,评估num.io.threads和num.network.threads调整 m5.4xl+ 和 m7g.4xl+ 实例
2 快速代理的最佳实践(快递) 根据每个代理的吞吐量限制计算所需的代理数量,为目标推荐 Express 实例类型 ingress/egress,根据 Express 配额评估分区计数
3 监控 CPU 使用率 诊断代理资源饱和度,区分代理端和客户端的根本原因和配置错误,并确定何时需要扩展
4 监控磁盘空间 评估标准经纪商的存储使用情况,确定高增长话题,建议 EBS 扩展或保留调整。对于 Express,监控存储利用率(存储已完全管理)以优化成本
5 连接到预置 Amazon MSK 集群 审核 producer/consumer 设置、配置身份验证、调整高可用性和容错能力
6 构建高度可用的集群 验证标准代理的高可用性配置和多可用区部署,以及客户端故障转移配置
7 监控预置 Amazon MSK 集群 为对 Amazon MSK 可观察性和操作至关重要的关键指标创建 CloudWatch 控制面板和警报
8 Amazon MSK 的关键功能和概念 评估集群更新准备情况,了解标准版和快速版之间的补丁行为,了解代理重启对客户端的影响

工作原理

当你向你的 AI 编码代理询问一个关于 Amazon MSK 的问题时,比如 “为什么我的 MSK 集群 CPU 很高?” 或 “帮我设置对我的 Express 集群的监控” — 技能激活并向代理提供:

  • 诊断工作流程 — 结构化故障排除步骤,首先检查最可能的根本原因(例如,linger.ms在建议代理缩放 CPU 问题之前进行验证)。

  • Broker-type-aware 指导 — 技能决定您的集群使用的是标准代理还是快速代理,并针对该代理类型应用正确的指标、阈值和建议。

  • Amazon CLI Ready-to-run 命令 — 用于描述集群、扩展存储、创建配置和查询 CloudWatch 指标的命令。

  • 最佳实践验证-根据记录在案的建议检查您的集群配置并标记偏差。

安装

选项 1: Amazon CLI

需要 Amazon CLI 版本 2.35.0 或更高版本。

# Interactive setup (installs default skills + configures AWS MCP Server) aws configure agent-toolkit # Or install the skill individually aws agent-toolkit add-skill --skill-name managing-amazon-msk

有关完整的 CLI 文档,请参阅使用 Amazon CLI 管理技能。

选项 2: Amazon MCP 服务器

将你的 AI 编码代理连接到 Amazon MCP 服务器,后者提供技能以及沙盒 Amazon API 执行功能。

{ "mcpServers": { "aws-mcp": { "command": "uvx", "args": [ "mcp-proxy-for-aws==1.6.2", "https://aws-mcp.us-east-1.api.aws/mcp", "--metadata", "AWS_REGION=us-east-1" ] } } }

有关完整的设置说明,请参阅设置 Amazon MCP 服务器。

使用场景和示例

评估标准经纪商最佳实践

提示:“我有一个使用 kafka.m5.2xlarge 代理的 MSK 标准集群,每个代理有 2,500 个分区。我是否遵循最佳实践?”

技能:

  • 参照 m5.2xlarge 每个代理 2,000 个分区的建议上限,检查您的分区数。

  • 警告您已超过建议数量,并且已接近支持更新操作的最大值 3,000。

  • 建议减少分区或升级到 m5.4xlarge(每个代理支持 4,000 个分区)。

  • 请检查您的num.io.threads和num.network.threads设置,如果尺寸过小,建议进行调整。

诊断快递经纪商的表现

提示:“我的 Express 集群有 3 个 express.m7g.large 经纪商,我看到限制了。怎么了?”

技能:

  • 确定每个代理express.m7g.large支持 15.6 Mbps 的入口和 31.2 Mb ps 的出口。

  • 询问您当前的吞吐量或运行 CloudWatch 查询以检查BytesInPerSec和BytesOutPerSec.

  • 如果吞吐量超过每个代理的限制,建议扩展express.m7g.xlarge或添加代理。

  • 检查ProduceThrottleTime和FetchThrottleTime指标。

审核客户机配置

提示:“查看我的 Kafka 生产者配置,了解有关 MSK 的最佳实践”

技能:

  • 请检查关键配置(例如linger.ms、、acksbatch.size、等)buffer.memory,了解性能和耐久性方面的注意事项。

  • 针对您的场景提供建议,以调整配置、提高性能并确保高可用性。

设置监控和警报

提示:“按照最佳实践帮我设置对我的 MSK 集群的 CloudWatch 监控”

技能:

  • 为 CPU 利用率 (CpuUser + CpuSystem) 等关键指标创建警报RequestHandlerAvgIdlePercent,以及其他指标以监控代理饱和度。

  • 对于标准版:添加KafkaDataLogsDiskUsed > 85%警报和UnderReplicatedPartitions > 0警报。

  • 对于 Express:添加StorageUsed监控以实现成本优化。

  • 设置每个经纪人、每个主题和每个消费者组的仪表板。

源代码和贡献

该managing-amazon-msk技能是开源的。您可以查看源代码、提出改进建议或贡献新功能。

  • GitHub: aws/agent-toolkit -for-aws 开启 GitHub

欢迎通过 GitHub 问题或拉取请求提供有关其他最佳实践场景、新用例或更正的反馈。