View a markdown version of this page

SageMaker AI 见解控制面板 - 亚马逊 SageMaker AI
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

SageMaker AI 见解控制面板

使用 CloudWatch SageMaker AI Insights 大规模监控 SageMaker AI 推理端点并对其进行故障排除。仪表板通过三个视图(性能、容量和可靠性)显示精选的指标和可视化效果,因此您可以快速发现问题,优化资源利用率,并确保端点之间的高可用性。

SageMaker AI Insights 支持跨端点类型(单模型端点和基于推理组件的端点)和推理框架(vlLM、sgLang)进行监控。

访问控制面板

您可以从控制台中的多个位置访问 SageMaker AI Insights 控制面板:

在终端列表页面上:单击 “在 SageMaker Insights 中查看”,在队列级别打开仪表板,不应用任何筛选条件。

显示了 “在 SageMaker Insights 中查看” 按钮的端点列表页面。

从端点详细信息页面:点击在 SageMaker Insights 中查看,打开筛选到该端点的仪表板。

显示了 “在 SageMaker 见解中查看” 按钮的端点详细信息页面。

在推理组件详细信息页面上:单击 “在 In SageMaker sights 中查看”,打开筛选到该端点和推理组件的仪表板。

显示 “在 Ins SageMaker ights 中查看” 按钮的推理组件详细信息页面。

直接导航:Amazon CloudWatch → 基础设施监控 → SageMaker AI 见解

仪表板选项卡

仪表板分为三个选项卡:

  • 性能 — 性能运行状况蜂窝、实例性能表、令牌流 (TTFT/ITL)、令牌吞吐量、引擎和请求压力、延迟细分以及流量分布。

  • 容量 — 容量运行状况蜂窝、实例容量表和队列利用率(CPU、GPU、GPU 内存、内存、磁盘)。

  • 可靠性 — 可用区域分布、扩展事件时间表、冷启动结构和 ICE 诊断。

SageMaker Insights 仪表板标题带有摘要栏,显示调用、实例、推理组件和平均 AZ 偏差。

有关每个选项卡中的微件和可视化效果的详细信息,请参阅 SageMaker A mazon CloudWatch 用户指南中的 AI Insights 控制面板。