本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。
OpenTelemetry 指标参考
本节提供了 Amazon AI 发布的 OpenTelemetry 指标的完整列表（并非详尽无遗），详细可观察性可在 SageMaker AI Insights 中 SageMaker 找到。
OpenTelemetry 指标标签
OpenTelemetry 指标包括标识与每个数据点关联的资源的标签（属性）。使用这些标签对查询中的指标进行筛选和分组。
| OpenTelemetry 标签 | 说明 |
|---|---|
aws.sagemaker.endpoint.name |
端点名称 |
aws.sagemaker.variant.name |
生产变体名称 |
aws.sagemaker.inference_component.name |
推理组件名称 |
@resource.host.id |
EC2 实例 ID |
aws.sagemaker.container.id |
容器 ID |
@resource.cloud.availability_zone |
可用区 |
@resource.host.type |
实例类型 |
Account-level 汇总指标
这些指标属于账户级别。
| # | 指标 | 说明 |
|---|---|---|
| 1 | TotalEndpoints |
账户中活跃终端节点的总数 |
| 2 | TotalICs |
在所有端点上部署的推理组件总数 |
| 3 | TotalInvocations |
所有终端节点的推理请求总数 |
GPU (DCGM) 指标
这些指标是从数据中心 GPU 管理器 (DCGM) 导出器收集的，无论推理框架如何，均可在所有 GPU 端点上使用。
可以在推理组件、实例或端点级别进行聚合。
| # | 指标 | 源指标 | 说明 |
|---|---|---|---|
| 4 | GPU 利用率 (%) | DCGM_FI_DEV_GPU_UTIL |
GPU 主动执行工作负载的时间百分比 |
| 5 | GPU 内存利用率 (%) | DCGM_FI_DEV_MEM_COPY_UTIL |
内存控制器主动将数据移入或移出 GPU 内存的时间百分比 |
节点（实例）指标
这些指标是从节点导出器收集的，可提供对 CPU、内存和磁盘利用率的实例级可见性。
可以在实例或终端节点级别进行聚合。
| # | 指标 | 源指标 | 说明 |
|---|---|---|---|
| 6 | CPU 利用率 (%) | node_cpu_seconds_total |
一个累积计数器，用于测量自启动以来在每种执行模式（空闲、用户、系统、iowait）下花费的 CPU 总秒数。从空闲模式速率中得出利用率百分比。 |
| 7 | 内存利用率 (%) | node_memory_MemAvailable_bytes,
node_memory_MemTotal_bytes |
正在使用的物理内存的百分比。根据总内存减去可用内存得出。 |
| 8 | 磁盘利用率 (%) | node_filesystem_avail_bytes,
node_filesystem_size_bytes |
正在使用的文件系统空间的百分比。根据总大小减去可用空间得出。 |
推理框架指标 (vlLM /sgLang)
推理框架指标由模型容器内运行的服务引擎本机发出。 SageMaker 启用详细可观察性后，AI 会自动从支持的框架（vlLM 和 sgLang）收集这些指标。这些指标提供了对推理组件级别的令牌吞吐量、延迟、KV 缓存压力和请求队列的可见性。
这些指标可以归因于终端节点、推理组件或实例级别。
| # | 指标 | 源指标 | 说明 |
|---|---|---|---|
| 9 | 每秒输入令牌 | vllm:prompt_tokens_total |
每秒处理的提示令牌总数 |
| 10 | 每秒输出令牌 | vllm:generation_tokens_total |
每秒生成的代币总数 |
| 11 | TPS 总计 | 源自 #9 + #10 | 每秒合并输入和输出令牌 |
| 12 | TPS 利用率% | 源自 #11 | 当前代币吞吐量占观测峰值的百分比 |
| 13 | TTFT | vllm:time_to_first_token_seconds |
从请求到达到第一个生成的代币的时间（直方图） |
| 14 | Inter-Token 延迟 | vllm:inter_token_latency_seconds |
连续生成代币之间的平均时间（直方图） |
| 15 | KV 缓存利用率 | vllm:gpu_cache_usage_perc |
当前使用的 GPU KV-cache 内存百分比 |
| 16 | 队列深度 | vllm:num_requests_waiting |
队列中等待处理的请求数 |
| 17 | 批次大小 | vllm:num_requests_running |
当前正在运行的请求数（正在进行中） |
| 18 | 模型延迟 | vllm:e2e_request_latency_seconds |
End-to-end 从到达到最终代币的请求延迟（直方图） |
注意
前缀为的指标与 sgLang 端点vllm:具有等效的sglang:对应指标。
Operations-driven 指标
这些指标由事件驱动，由您的创建、更新或扩展操作发送到端点或推理组件。他们不受影响MetricPublishFrequencyInSeconds。
这些指标可以归因于端点和推理组件级别。
| # | 指标 | 源指标 | 说明 |
|---|---|---|---|
| 19 | 缩放事件 | e2e_duration |
表示您的终端节点上发生了自动缩放或手动扩展操作。按标签aws.sagemaker.scaling.direction（ScaleOut或ScaleIn）筛选以确定方向。 |
| 20 | 端到端扩展延迟 | e2e_duration |
End-to-end 缩放从触发到完成的持续时间（秒）。按标签筛选aws.sagemaker.operation.type（例如，UpdateWCEndpoint）。 |
| 21 | 冰数 | ice_count |
每种实例类型的每个可用区容量不足错误事件的数量 |
| 22 | 再平衡事件类型 | rebalancing_blocked |
再平衡事件的类型及其当前状态 |
| 23 | 重新平衡持续时间 | rebalancing_duration |
从开始到完成的重新平衡持续时间（秒） |
| 24 | 已移动 IC 副本 | ic_copy_moved |
在重新平衡期间移动的推理组件副本数 |
| 25 | 实例已发布 | instances_released |
在重新平衡期间通过整合释放的 EC2 实例数量 |
| 26 | 模型下载时长 | model_download_time |
将模型工件从 S3 下载到实例的时间（秒） |
| 27 | GPU 加载持续时间 | gpu_load_time |
将模型权重加载到 GPU 内存的时间（秒） |
| 28 | 容器启动时长 | container_start_time |
从容器启动到通过运行状况检查的时间（秒） |
派生的舰队布局指标
除了上面列出的指标外， SageMaker AI Insights 仪表板还计算来自控制平面放置数据的派生指标。这些是在控制面板上可见的汇总视图，不能在 Amazon Query Studio 中单独 CloudWatch 查询指标名称。
派生的舰队布局指标包括：
-
每个可用区的实例数
-
每个可用区的 IC 副本数
-
AZ 偏差（整个舰队的分布不平衡百分比）
-
每个实例的 IC 副本
这些值显示在 SageMaker AI Insights 控制面板的 “可靠性” 选项卡上。