本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
使用管理亚马逊 msk 技能分析最佳实践
该managing-amazon-msk技能是代理技能网站上的 “代理技能
功能
该技能涵盖以下领域,每个领域都与本指南中记录的最佳实践相对应。
| 最佳实践领域 | 该技能可以帮助你做什么 | |
|---|---|---|
| 1 | 标准代理的最佳实践(标准) | 评估每个代理的分区数量,推荐实例大小,评估num.io.threads和num.network.threads调整 m5.4xl+ 和 m7g.4xl+ 实例 |
| 2 | 快速代理的最佳实践(快递) | 根据每个代理的吞吐量限制计算所需的代理数量,为目标推荐 Express 实例类型 ingress/egress,根据 Express 配额评估分区计数 |
| 3 | 监控 CPU 使用率 | 诊断代理资源饱和度,区分代理端和客户端的根本原因和配置错误,并确定何时需要扩展 |
| 4 | 监控磁盘空间 | 评估标准经纪商的存储使用情况,确定高增长话题,建议 EBS 扩展或保留调整。对于 Express,监控存储利用率(存储已完全管理)以优化成本 |
| 5 | 连接到预置 Amazon MSK 集群 | 审核 producer/consumer 设置、配置身份验证、调整高可用性和容错能力 |
| 6 | 构建高度可用的集群 | 验证标准代理的高可用性配置和多可用区部署,以及客户端故障转移配置 |
| 7 | 监控预置 Amazon MSK 集群 | 为对 Amazon MSK 可观察性和操作至关重要的关键指标创建 CloudWatch 控制面板和警报 |
| 8 | Amazon MSK 的关键功能和概念 | 评估集群更新准备情况,了解标准版和快速版之间的补丁行为,了解代理重启对客户端的影响 |
工作原理
当你向你的 AI 编码代理询问一个关于 Amazon MSK 的问题时,比如 “为什么我的 MSK 集群 CPU 很高?” 或 “帮我设置对我的 Express 集群的监控” — 技能激活并向代理提供:
-
诊断工作流程 — 结构化故障排除步骤,首先检查最可能的根本原因(例如,
linger.ms在建议代理缩放 CPU 问题之前进行验证)。 -
Broker-type-aware 指导 — 技能决定您的集群使用的是标准代理还是快速代理,并针对该代理类型应用正确的指标、阈值和建议。
-
Amazon CLI Ready-to-run 命令 — 用于描述集群、扩展存储、创建配置和查询 CloudWatch 指标的命令。
-
最佳实践验证-根据记录在案的建议检查您的集群配置并标记偏差。
安装
选项 1: Amazon CLI
需要 Amazon CLI 版本 2.35.0 或更高版本。
# Interactive setup (installs default skills + configures AWS MCP Server) aws configure agent-toolkit # Or install the skill individually aws agent-toolkit add-skill --skill-name managing-amazon-msk
有关完整的 CLI 文档,请参阅使用 Amazon CLI 管理技能。
选项 2: Amazon MCP 服务器
将你的 AI 编码代理连接到 Amazon MCP 服务器,后者提供技能以及沙盒 Amazon API 执行功能。
{ "mcpServers": { "aws-mcp": { "command": "uvx", "args": [ "mcp-proxy-for-aws==1.6.2", "https://aws-mcp.us-east-1.api.aws/mcp", "--metadata", "AWS_REGION=us-east-1" ] } } }
有关完整的设置说明,请参阅设置 Amazon MCP 服务器。
使用场景和示例
评估标准经纪商最佳实践
提示:“我有一个使用 kafka.m5.2xlarge 代理的 MSK 标准集群,每个代理有 2,500 个分区。我是否遵循最佳实践?”
技能:
-
参照 m5.2xlarge 每个代理 2,000 个分区的建议上限,检查您的分区数。
-
警告您已超过建议数量,并且已接近支持更新操作的最大值 3,000。
-
建议减少分区或升级到 m5.4xlarge(每个代理支持 4,000 个分区)。
-
请检查您的
num.io.threads和num.network.threads设置,如果尺寸过小,建议进行调整。
诊断快递经纪商的表现
提示:“我的 Express 集群有 3 个 express.m7g.large 经纪商,我看到限制了。怎么了?”
技能:
-
确定每个代理
express.m7g.large支持 15.6 Mbps 的入口和 31.2 Mb ps 的出口。 -
询问您当前的吞吐量或运行 CloudWatch 查询以检查
BytesInPerSec和BytesOutPerSec. -
如果吞吐量超过每个代理的限制,建议扩展
express.m7g.xlarge或添加代理。 -
检查
ProduceThrottleTime和FetchThrottleTime指标。
审核客户机配置
提示:“查看我的 Kafka 生产者配置,了解有关 MSK 的最佳实践”
技能:
-
请检查关键配置(例如
linger.ms、、acksbatch.size、等)buffer.memory,了解性能和耐久性方面的注意事项。 -
针对您的场景提供建议,以调整配置、提高性能并确保高可用性。
设置监控和警报
提示:“按照最佳实践帮我设置对我的 MSK 集群的 CloudWatch 监控”
技能:
-
为 CPU 利用率 (
CpuUser + CpuSystem) 等关键指标创建警报RequestHandlerAvgIdlePercent,以及其他指标以监控代理饱和度。 -
对于标准版:添加
KafkaDataLogsDiskUsed > 85%警报和UnderReplicatedPartitions > 0警报。 -
对于 Express:添加
StorageUsed监控以实现成本优化。 -
设置每个经纪人、每个主题和每个消费者组的仪表板。
源代码和贡献
该managing-amazon-msk技能是开源的。您可以查看源代码、提出改进建议或贡献新功能。
-
GitHub: aws/agent-toolkit -for-aws
开启 GitHub
欢迎通过 GitHub 问题或拉取请求提供有关其他最佳实践场景、新用例或更正的反馈。