本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
SageMaker AI 见解控制面板
使用 CloudWatch SageMaker AI Insights 大规模监控 SageMaker AI 推理端点并对其进行故障排除。仪表板通过三个视图(性能、容量和可靠性)显示精选的指标和可视化效果,因此您可以快速发现问题,优化资源利用率,并确保端点之间的高可用性。
SageMaker AI Insights 支持跨端点类型(单模型端点和基于推理组件的端点)和推理框架(vlLM、sgLang)进行监控。
访问控制面板
您可以从控制台中的多个位置访问 SageMaker AI Insights 控制面板:
在终端列表页面上:单击 “在 SageMaker Insights 中查看”,在队列级别打开仪表板,不应用任何筛选条件。
从端点详细信息页面:点击在 SageMaker Insights 中查看,打开筛选到该端点的仪表板。
在推理组件详细信息页面上:单击 “在 In SageMaker sights 中查看”,打开筛选到该端点和推理组件的仪表板。
直接导航:Amazon CloudWatch → 基础设施监控 → SageMaker AI 见解
仪表板选项卡
仪表板分为三个选项卡:
-
性能 — 性能运行状况蜂窝、实例性能表、令牌流 (TTFT/ITL)、令牌吞吐量、引擎和请求压力、延迟细分以及流量分布。
-
容量 — 容量运行状况蜂窝、实例容量表和队列利用率(CPU、GPU、GPU 内存、内存、磁盘)。
-
可靠性 — 可用区域分布、扩展事件时间表、冷启动结构和 ICE 诊断。
有关每个选项卡中的微件和可视化效果的详细信息,请参阅 SageMaker A mazon CloudWatch 用户指南中的 AI Insights 控制面板。