本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

# OpenTelemetry 指标参考
<a name="inference-monitoring"></a>

 本节提供了 Amazon AI 发布的 OpenTelemetry 指标的完整列表（并非详尽无遗），详细可观察性可在 SageMaker AI Insights 中 SageMaker 找到。

## OpenTelemetry 指标标签
<a name="inference-monitoring-labels"></a>

OpenTelemetry 指标包括标识与每个数据点关联的资源的标签（属性）。使用这些标签对查询中的指标进行筛选和分组。


| OpenTelemetry 标签 | 说明 | 
| --- | --- | 
| aws.sagemaker.endpoint.name | 端点名称 | 
| aws.sagemaker.variant.name | 生产变体名称 | 
| aws.sagemaker.inference\_component.name | 推理组件名称 | 
| @resource.host.id | EC2 实例 ID | 
| aws.sagemaker.container.id | 容器 ID | 
| @resource.cloud.availability\_zone | 可用区 | 
| @resource.host.type | 实例类型 | 

## Account-level 汇总指标
<a name="inference-monitoring-metrics-account"></a>

这些指标属于账户级别。


| \# | 指标 | 说明 | 
| --- | --- | --- | 
| 1 | TotalEndpoints | 账户中活跃终端节点的总数 | 
| 2 | TotalICs | 在所有端点上部署的推理组件总数 | 
| 3 | TotalInvocations | 所有终端节点的推理请求总数 | 

## GPU (DCGM) 指标
<a name="inference-monitoring-metrics-gpu"></a>

 这些指标是从数据中心 GPU 管理器 (DCGM) 导出器收集的，无论推理框架如何，均可在所有 GPU 端点上使用。

可以在推理组件、实例或端点级别进行聚合。


| \# | 指标 | 源指标 | 说明 | 
| --- | --- | --- | --- | 
| 4 | GPU 利用率 (%) | DCGM\_FI\_DEV\_GPU\_UTIL | GPU 主动执行工作负载的时间百分比 | 
| 5 | GPU 内存利用率 (%) | DCGM\_FI\_DEV\_MEM\_COPY\_UTIL | 内存控制器主动将数据移入或移出 GPU 内存的时间百分比 | 

## 节点（实例）指标
<a name="inference-monitoring-metrics-node"></a>

 这些指标是从节点导出器收集的，可提供对 CPU、内存和磁盘利用率的实例级可见性。

可以在实例或终端节点级别进行聚合。


| \# | 指标 | 源指标 | 说明 | 
| --- | --- | --- | --- | 
| 6 | CPU 利用率 (%) | node\_cpu\_seconds\_total | 一个累积计数器，用于测量自启动以来在每种执行模式（空闲、用户、系统、iowait）下花费的 CPU 总秒数。从空闲模式速率中得出利用率百分比。 | 
| 7 | 内存利用率 (%) | node\_memory\_MemAvailable\_bytes, node\_memory\_MemTotal\_bytes | 正在使用的物理内存的百分比。根据总内存减去可用内存得出。 | 
| 8 | 磁盘利用率 (%) | node\_filesystem\_avail\_bytes, node\_filesystem\_size\_bytes | 正在使用的文件系统空间的百分比。根据总大小减去可用空间得出。 | 

## 推理框架指标 (vlLM /sgLang)
<a name="inference-monitoring-metrics-inference"></a>

推理框架指标由模型容器内运行的服务引擎本机发出。 SageMaker 启用详细可观察性后，AI 会自动从支持的框架（vlLM 和 sgLang）收集这些指标。这些指标提供了对推理组件级别的令牌吞吐量、延迟、KV 缓存压力和请求队列的可见性。

这些指标可以归因于终端节点、推理组件或实例级别。


| \# | 指标 | 源指标 | 说明 | 
| --- | --- | --- | --- | 
| 9 | 每秒输入令牌 | vllm:prompt\_tokens\_total | 每秒处理的提示令牌总数 | 
| 10 | 每秒输出令牌 | vllm:generation\_tokens\_total | 每秒生成的代币总数 | 
| 11 | TPS 总计 | 源自 \#9 \+ \#10 | 每秒合并输入和输出令牌 | 
| 12 | TPS 利用率% | 源自 \#11 | 当前代币吞吐量占观测峰值的百分比 | 
| 13 | TTFT | vllm:time\_to\_first\_token\_seconds | 从请求到达到第一个生成的代币的时间（直方图） | 
| 14 | Inter-Token 延迟 | vllm:inter\_token\_latency\_seconds | 连续生成代币之间的平均时间（直方图） | 
| 15 | KV 缓存利用率 | vllm:gpu\_cache\_usage\_perc | 当前使用的 GPU KV-cache 内存百分比 | 
| 16 | 队列深度 | vllm:num\_requests\_waiting | 队列中等待处理的请求数 | 
| 17 | 批次大小 | vllm:num\_requests\_running | 当前正在运行的请求数（正在进行中） | 
| 18 | 模型延迟 | vllm:e2e\_request\_latency\_seconds | End-to-end 从到达到最终代币的请求延迟（直方图） | 

**注意**  
 前缀为的指标与 sgLang 端点`vllm:`具有等效的`sglang:`对应指标。

## Operations-driven 指标
<a name="inference-monitoring-metrics-operations"></a>

这些指标由事件驱动，由您的创建、更新或扩展操作发送到端点或推理组件。他们不受影响`MetricPublishFrequencyInSeconds`。

这些指标可以归因于端点和推理组件级别。


| \# | 指标 | 源指标 | 说明 | 
| --- | --- | --- | --- | 
| 19 | 缩放事件 | e2e\_duration | 表示您的终端节点上发生了自动缩放或手动扩展操作。按标签aws.sagemaker.scaling.direction（ScaleOut或ScaleIn）筛选以确定方向。 | 
| 20 | 端到端扩展延迟 | e2e\_duration | End-to-end 缩放从触发到完成的持续时间（秒）。按标签筛选aws.sagemaker.operation.type（例如，UpdateWCEndpoint）。 | 
| 21 | 冰数 | ice\_count | 每种实例类型的每个可用区容量不足错误事件的数量 | 
| 22 | 再平衡事件类型 | rebalancing\_blocked | 再平衡事件的类型及其当前状态 | 
| 23 | 重新平衡持续时间 | rebalancing\_duration | 从开始到完成的重新平衡持续时间（秒） | 
| 24 | 已移动 IC 副本 | ic\_copy\_moved | 在重新平衡期间移动的推理组件副本数 | 
| 25 | 实例已发布 | instances\_released | 在重新平衡期间通过整合释放的 EC2 实例数量 | 
| 26 | 模型下载时长 | model\_download\_time | 将模型工件从 S3 下载到实例的时间（秒） | 
| 27 | GPU 加载持续时间 | gpu\_load\_time | 将模型权重加载到 GPU 内存的时间（秒） | 
| 28 | 容器启动时长 | container\_start\_time | 从容器启动到通过运行状况检查的时间（秒） | 

## 派生的舰队布局指标
<a name="inference-monitoring-metrics-derived"></a>

除了上面列出的指标外， SageMaker AI Insights 仪表板还计算来自控制平面放置数据的派生指标。这些是在控制面板上可见的汇总视图，不能在 Amazon Query Studio 中单独 CloudWatch 查询指标名称。

派生的舰队布局指标包括：
+ 每个可用区的实例数
+ 每个可用区的 IC 副本数
+ AZ 偏差（整个舰队的分布不平衡百分比）
+ 每个实例的 IC 副本

这些值显示在 SageMaker AI Insights 控制面板的 “可靠性” 选项卡上。