本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

# Amazon SageMaker AI 详细介绍了推理终端节点的可观察性
<a name="monitoring-cloudwatch-detailed-observability"></a>

详细的可观察性是 Amazon A SageMaker I 实时推理终端节点的下一代指标体验。它以 OpenTelemetry (oTel) 为基础，从 GPU、节点和推理框架层收集精细的运行指标，并将这些指标发布到 Amazon，并 CloudWatch 附上丰富的标签，包括终端节点名称、推理组件名称、实例 ID、可用区和实例类型。

## 关键功能
<a name="detailed-observability-capabilities"></a>
+ **OpenTelemetry-native 收藏**。指标是使用 oTel 收集器收集的，该收集器从 DCGM（GPU 指标）、节点导出器（CPU、内存、磁盘）和推理框架容器（vlLM、sgLang）中抓取 Prometheus 端点。
+ **丰富的维度标签**。发布的每个指标都带有诸如`aws.sagemaker.endpoint.name`、、`aws.sagemaker.inference_component.name``@resource.host.id`、和之类的标签`@resource.cloud.availability_zone`，`@resource.host.type`用于精确筛选和聚合。
+ **Per-GPU 归因**。GPU 指标 (DCGM) 包括每个推理组件的归因，允许您识别哪个模型在多租户实例上消耗 GPU 资源。
+ **推理框架指标**。原生 vlLM 和 sgLang 指标（包括每秒令牌数、生成第一个令牌的时间 (TTFT)、令牌间延迟、KV 缓存利用率、队列深度和批量大小）无需自定义检测即可使用。
+ **PromQL 查询支持**。在亚马逊 CloudWatch、Query Studio 或亚马逊托管 Grafana 中使用 PromQL 语法 CloudWatch 查询指标。
+ **可配置的刮擦频率**。使用`MetricPublishFrequencyInSeconds`（有效值：10、30、60、120、180、240、300 秒）控制收集指标的频率。默认为 60 秒。生命周期、自动缩放和 ICE 诊断等控制平面指标由事件驱动，不受此设置的影响。

**注意**  
详细的可观察性 CloudWatch 通过 OTLP 向亚马逊发布 OpenTelemetry (oTel) 指标。这些*不*是 Prometheus 的指标。这些指标以 oTel 指标数据原生存储在亚马逊中 CloudWatch ，可使用 PromQL 语法进行查询。PromQL 仅作为查询语言支持，不涉及 Prometheus 服务器或后端。 Prometheus-compatible

## 所含内容
<a name="detailed-observability-whats-included"></a>


**详细的可观测性指标类别**  

| 类别 | 指标 | Scope | 频率 | 
| --- | --- | --- | --- | 
| 推理框架 () vLLM/SGLang | TTFT、ITL、KV 缓存、队列深度、批次大小、TPS、并发请求 | Per-IC 对于推理组件端点，对于每个端点适用于中小instance/per企业 | 可配置 | 
| GPU 生命值 (DCGM) | GPU 利用率、内存副本利用率、GPU 温度 | Per-instance，每个 GPU | 可配置 | 
| 节点运行状况 | CPU、内存、磁盘、文件系统 | Per-instance | 可配置 | 
| 推理组件放置和高可用性 | IC 副本数、每个可用区的副本、可用区偏差、每个实例 IC、每个可用区的实例 | Per-endpoint | 定期 | 
| 生命周期 | 模型下载时间、GPU 加载时间、容器启动、冷启动 | Per-IC，每个端点 | Event-driven | 
| 自动扩缩 | 扩展事件、端到端延迟、重新平衡 | Per-endpoint | Event-driven | 
| ICE 诊断 | ICE 计数、失败类型、失败的可用区 | Per-endpoint | Event-driven | 

有关完整列表，请参阅 [OpenTelemetry 指标参考](inference-monitoring.md)。

## 架构和数据流
<a name="detailed-observability-architecture"></a>

![架构图显示了详细可观察性的指标收集管道。](https://docs.amazonaws.cn/sagemaker/latest/dg/images/SageMaker Observability/Observability_Architecture.png)


每个终端节点实例都会公开来自多个来源的指标。oTel Collector 会抓取这些来源，使用上下文标签丰富数据，然后将其导出到您的亚马逊账户。 CloudWatch 

1. **模型容器**、**DCGM 导出**器和**节点导**出器会显示实例上的 Prometheus-compatible 指标（分别为推理框架指标、GPU 指标和 CPU/memory/disk 指标）。

1. **oTel Collector** 抓取这些端点，并使用端点名称、推理组件名称、实例 ID 和可用区等标签来丰富每个指标。

1. 丰富指标将通过 OTLP 导出到您的账户 CloudWatch 中的 Amazon。

1. 指标可通过 Amazon 中的 PromQL 查询，网址为。 CloudWatch `https://monitoring.{{region}}.amazonaws.com`

## 定价
<a name="detailed-observability-pricing"></a>

包含详细的可观测性指标，无需支付额外费用。[有关与 oTel 充实相关的亚马逊 CloudWatch 数据摄取成本的信息，请参阅 Amazon 定价。 CloudWatch ](https://www.amazonaws.cn/cloudwatch/pricing/)