本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
使用 Amazon CloudWatch 监控 Amazon SageMaker
您可以使用 Amazon CloudWatch 监控 Amazon SageMaker,此工具可收集原始数据,并将其处理为便于读取的近乎实时的指标。这些统计数据会保存 15 个月,从而使您能够访问历史信息,并能够更好地了解您的 Web 应用程序或服务的执行情况。但是,Amazon CloudWatch 控制台将搜索限制最近 2 周内更新过的指标。此限制可确保显示您命名空间中最新的作业。要列出指标图形而不使用搜索,请在源视图中指定其确切名称。此外,可以设置用于监测特定阈值的警报,并在达到相应阈值时发送通知或执行操作。有关更多信息,请参阅 Amazon CloudWatch 用户指南。
SageMaker 指标与维度
SageMaker 终端节点调用指标
这些区域有:AWS/SageMaker
命名空间包括调用到的以下请求指标InvokeEndpoint.
指标按 1 分钟一次的频率提供。
有关 CloudWatch 指标的保留时间长度的信息,请参阅。GetMetricStatistics中的Amazon CloudWatch API 参考.
终端节点调用指标
指标 | 描述 |
---|---|
Invocation4XXErrors |
模型在其中返回 4xx HTTP 响应代码的 单位:无 有效统计数据:Average、Sum |
Invocation5XXErrors |
模型在其中返回 5xx HTTP 响应代码的 单位:无 有效统计数据:Average、Sum |
Invocations |
的数量 要获取发送到模型终端节点的请求总数,请使用 Sum 统计数据。 单位:无 有效统计数据:总计 |
InvocationsPerInstance |
发送到模型的调用数量,按 单位:无 有效统计数据:总计 |
ModelLatency |
从 SageMaker 中查看的模型做出响应所用的时间隔。此时间间隔包括发送请求以及从模型容器提取响应的本地通信时间,以及在容器中完成推理所用的时间。 单位:微秒 有效统计数据:Average、Sum、Min、Max、Sample Count |
OverheadLatency |
SageMaker 开销为响应客户端的请求所用时间隔,此时间隔增加到 SageMaker 的客户端请求。此时间间隔的计算从 SageMaker 收到请求开始,直至它返回响应到客户端,减去 单位:微秒 有效统计数据:Average、Sum、Min、Max、Sample Count |
ModelSetupTime |
为无服务器端点启动新的计算资源所需的时间。时间可能会因模型大小、下载模型所需的时间以及容器的启动时间而有所不同。 单位:微秒 有效统计数据:Average、Min、Max、Sample Count |
终端节点调用指标的维度
维度 | 描述 |
---|---|
EndpointName, VariantName |
针对指定终端节点和变体的 |
SageMaker 多模型终端节点指标
这些区域有:AWS/SageMaker
命名空间包括从调用到的以下模型加载指标:InvokeEndpoint.
指标按 1 分钟一次的频率提供。
有关 CloudWatch 指标的保留时间长度的信息,请参阅。GetMetricStatistics中的Amazon CloudWatch API 参考.
Multi-Model Endpoint Model Loading Metrics (多模型终端节点模型加载指标)
指标 | 描述 |
---|---|
ModelLoadingWaitTime |
调用请求等待下载和/或加载目标模型以执行推理的间隔时间。 单位:微秒 有效统计数据:Average、Sum、Min、Max、Sample Count |
ModelUnloadingTime |
通过容器的 单位:微秒 有效统计数据:Average、Sum、Min、Max、Sample Count |
ModelDownloadingTime |
从 Amazon Simple Storage Service (Amazon S3) 下载模型所用的间隔时间。 单位:微秒 有效统计数据:Average、Sum、Min、Max、Sample Count |
ModelLoadingTime |
通过容器的 单位:微秒 有效统计数据:Average、Sum、Min、Max、Sample Count |
ModelCacheHit |
发送到已加载模型的多模型终端节点的 “Average”统计数据显示已加载模型的请求的比率。 单位:无 有效统计数据:Sum、Sample Count |
Dimensions for Multi-Model Endpoint Model Loading Metrics (多模型终端节点模型加载指标的维度)
维度 | 描述 |
---|---|
EndpointName, VariantName |
针对指定终端节点和变体的 |
这些区域有:/aws/sagemaker/Endpoints
命名空间包括通过调用获得的以下实例指标:InvokeEndpoint.
指标按 1 分钟一次的频率提供。
有关 CloudWatch 指标的保留时间长度的信息,请参阅。GetMetricStatistics中的Amazon CloudWatch API 参考.
Multi-Model Endpoint Model Instance Metrics (多模型终端节点模型实例指标)
指标 | 描述 |
---|---|
LoadedModelCount |
多模型终端节点的容器中加载的模型数。此指标是按实例发射的。 周期为 1 分钟的“Average”统计数据指示每个实例加载的平均模型数。 “Sum”统计数据指示在终端节点中的所有实例上加载的模型总数。 此指标跟踪的模型不一定是唯一的,因为可能在终端节点的多个容器中加载模型。 单位:无 有效统计数据:Average、Sum、Min、Max、Sample Count |
Dimensions for Multi-Model Endpoint Model Loading Metrics (多模型终端节点模型加载指标的维度)
维度 | 描述 |
---|---|
EndpointName, VariantName |
针对指定终端节点和变体的 |
SageMaker 作业和端点指标
这些区域有:/aws/sagemaker/ProcessingJobs
、/aws/sagemaker/TrainingJobs
、/aws/sagemaker/TransformJobs
, 和/aws/sagemaker/Endpoints
命名空间包括以下用于训练作业和终端节点实例的指标。
指标按 1 分钟一次的频率提供。
Amazon CloudWatch 支持高清自定义指标最好的分辨率是 1 秒钟。但是,分辨率越好,CloudWatch 指标的使用寿命就越短。对于 1 秒的频率分辨率,CloudWatch 指标可用期为 3 小时。有关 CloudWatch 指标的分辨率和寿命周期的更多信息,请参阅。GetMetricStatistics中的Amazon CloudWatch API 参考.
如果您想以更精细的分辨率分析您的训练工作,并随时将训练指标无限期存储在 Amazon S3 中以进行自定义分析,请考虑使用Amazon SageMaker 调试器. SageMaker Debug 提供了自动检测常见训练问题的内置规则;它可以检测硬件资源利用率问题(例如 CPU、GPU 和 I/O 瓶颈)和非融合模型问题(例如过度拟合、消失渐变和爆炸张量)。SageMaker 调试器还通过 Studio 及其性能分析报告提供可视化效果。要探索调试器的可视化效果,请参阅SageMaker 调试器见解仪表板演练、调试器性能分析报告演练, 和使用 smDebug 客户端库分析数据.
处理作业、训练作业、批量转换作业和终端节点实例指标
指标 | 描述 |
---|---|
CPUUtilization |
每个 CPU 核心的利用率总和。每个核心范围的 CPU 使用率为 0—100。例如,如果有四个 CPU,CPUUtilization 范围为 0%-400%。对于处理作业,该值是实例上的处理容器的 CPU 利用率。对于训练作业,该值是实例上的算法容器的 CPU 利用率。 对于批量转换作业,该值是实例上的转换容器的 CPU 利用率。 对于终端节点变体,该值是实例上的主容器和辅助容器的 CPU 利用率的总和。 对于多个实例作业,每个实例都会报告 CPU 利用率指标。但是,CloudWatch 中的默认视图显示跨所有实例的平均 CPU 利用率。 单位:百分比 |
MemoryUtilization |
实例上的容器所使用的内存的百分比。该值范围为 0%-100%。 对于处理作业,该值是实例上的处理容器的内存利用率。对于训练作业,该值是实例上的算法容器的内存利用率。 对于批量转换作业,该值是实例上的转换容器的内存利用率。 对于终端节点变体,该值是实例上的主容器和辅助容器的内存利用率的总和。 单位:百分比 对于多个实例作业,每个实例会报告内存利用率指标。但是,CloudWatch 中的默认视图显示跨所有实例的平均内存利用率。 |
GPUUtilization |
实例上的容器所使用的 GPU 单位的百分比。该值可以介于范围之间,为 0 到 100,并且乘以 CPU 数目。例如,如果有四个 GPU, 对于训练作业,该值是实例上的算法容器的 GPU 利用率。 对于批量转换作业,该值是实例上的转换容器的 GPU 利用率。 对于终端节点变体,该值是实例上的主容器和辅助容器的 GPU 利用率的总和。 对于多个实例作业,每个实例都会报告 GPU 利用率指标。但是,CloudWatch 中的默认视图显示跨所有实例的平均 GPU 利用率。 单位:百分比 |
GPUMemoryUtilization |
实例上的容器所使用的 GPU 内存的百分比。该值范围为 0 到 100,并且乘以 GPU 数目。例如,如果有四个 GPU, 对于训练作业,该值是实例上的算法容器的 GPU 内存利用率。 对于批量转换作业,该值是实例上的转换容器的 GPU 内存利用率。 对于终端节点变体,该值是实例上的主容器和辅助容器的 GPU 内存利用率的总和。 对于多个实例作业,每个实例都会报告 GPU 内存利用率指标。但是,CloudWatch 中的默认视图显示跨所有实例的平均 GPU 内存利用率。 单位:百分比 |
DiskUtilization |
实例上的容器所使用的磁盘空间的百分比。该值范围为 0%-100%。批量转换作业不支持此指标。 对于处理作业,该值是实例上的处理容器的磁盘空间利用率。对于训练作业,该值是实例上的算法容器的磁盘空间利用率。 对于终端节点变体,该值是实例上的主容器和辅助容器的磁盘空间利用率的总和。 单位:百分比 对于多个实例作业,每个实例会报告磁盘利用率指标。但是,CloudWatch 中的默认视图显示跨所有实例的平均磁盘利用率。 |
处理作业、训练作业和批量转换作业实例指标的维度
维度 | 描述 |
---|---|
Host |
对于处理作业,该维度的值具有格式 对于训练作业,该维度的值具有格式 对于批量转换作业,该维度的值的格式为 |
SageMaker Ground Truth 指标
Ground Truth 指标
指标 | 描述 |
---|---|
ActiveWorkers |
私人工作团队中的单个活跃工作人员已提交、发布或拒绝任务。要获取在职员工总数,请使用 Sum 统计数据。Ground Truth 试图交付每个人 单位:无 有效统计数据:Sum、Sample Count |
DatasetObjectsAutoAnnotated |
在标记作业中自动注释的数据集对象数。此指标仅在启用自动标记时发出。要查看标记作业进度,请使用 Max 指标。 单位:无 有效统计数据:最大值 |
DatasetObjectsHumanAnnotated |
在标记作业中人工注释的数据集对象数。要查看标记作业进度,请使用 Max 指标。 单位:无 有效统计数据:最大值 |
DatasetObjectsLabelingFailed |
在标记作业中未能标记的数据集对象数。要查看标记作业进度,请使用 Max 指标。 单位:无 有效统计数据:最大值 |
JobsFailed |
单个标签作业失败。要获取失败的标记作业总数,请使用 Sum 统计数据。 单位:无 有效统计数据:Sum、Sample Count |
JobsSucceeded |
单个标签作业成功。要获取成功的标记作业总数,请使用 Sum 统计数据。 单位:无 有效统计数据:Sum、Sample Count |
JobsStopped |
单个标签作业已停止。要获取停止的标记作业总数,请使用 Sum 统计数据。 单位:无 有效统计数据:Sum、Sample Count |
TasksAccepted |
一个工作人员接受了一项任务。要获取工作人员接受的任务总数,请使用 Sum 统计数据。Ground Truth 试图交付每个人 单位:无 有效统计数据:Sum、Sample Count |
TasksDeclined |
工作人员拒绝了一项任务。要获取工作人员拒绝的任务总数,请使用 Sum 统计数据。Ground Truth 试图交付每个人 单位:无 有效统计数据:Sum、Sample Count |
TasksReturned |
返回了一个任务。要获取返回的任务总数,请使用 Sum 统计数据。Ground Truth 试图交付每个人 单位:无 有效统计数据:Sum、Sample Count |
TasksSubmitted |
私人员工提交/完成了单个任务。要获取工作人员提交的任务总数,请使用 Sum 统计数据。Ground Truth 试图交付每个人 单位:无 有效统计数据:Sum、Sample Count |
TimeSpent |
私人员工完成任务所用的时间。此指标不包括工作人员暂停或休息的时间。Ground Truth 试图交付每个 单位:秒 有效统计数据:Sum、Sample Count |
TotalDatasetObjectsLabeled |
在标记作业中成功标记的数据集对象数。要查看标记作业进度,请使用 Max 指标。 单位:无 有效统计数据:最大值 |
数据集对象指标的维度
维度 | 描述 |
---|---|
LabelingJobName |
筛选标签作业的数据集对象计数指标。 |
SageMaker Feature Store 指标
功能商店指标
指标 | 描述 |
---|---|
ConsumedReadRequestsUnits |
在指定时间段内使用的读取单位数。您可以检索要 feature store 运行时操作所使用的读取单位及其对应的功能组。 单位:无 有效统计数据:全部 |
ConsumedWriteRequestsUnits |
在指定时间段内使用的写入单元数。您可以检索要 feature store 运行时操作所使用的写入单元及其对应的功能组。 单位:无 有效统计数据:全部 |
功能商店指标的维度
维度 | 描述 |
---|---|
FeatureGroupName, OperationName |
筛选指定功能组的要素存储运行时操作指标。 |
SageMaker 管道指标
这些区域有:AWS/Sagemaker/ModelBuildingPipeline
命名空间包括管道执行的以下指标。
提供了两类 Pipeline 执行指标:
-
所有管道的执行指标— 账户级管道执行指标(适用于当前账户中的所有管道)
-
管道执行指标— 每个管道的管道执行指标
指标按 1 分钟一次的频率提供。
管道执行指标
指标 | 描述 |
---|---|
ExecutionStarted |
启动的管道执行数。 单位:计数 有效统计数据:Average、Sum |
ExecutionFailed |
失败的管道执行数。 单位:计数 有效统计数据:Average、Sum |
ExecutionSucceeded |
成功的管道执行数。 单位:计数 有效统计数据:Average、Sum |
ExecutionStopped |
停止的管道执行的数量。 单位:计数 有效统计数据:Average、Sum |
ExecutionDuration |
管道执行运行的持续时间(以毫秒为单位)。 单位:毫秒 有效统计数据:Average、Sum、Min、Max、Sample Count |
按管道分类的执行指标的维度
维度 | 描述 |
---|---|
PipelineName |
筛选指定管道的管道执行指标。 |
管道步骤指标
这些区域有:AWS/Sagemaker/ModelBuildingPipeline
命名空间包括管道步骤的以下指标。
指标按 1 分钟一次的频率提供。
指标 | 描述 |
---|---|
StepStarted |
启动的步骤数。 单位:计数 有效统计数据:Average、Sum |
StepFailed |
失败的步骤数。 单位:计数 有效统计数据:Average、Sum |
StepSucceeded |
成功的步骤数。 单位:计数 有效统计数据:Average、Sum |
StepStopped |
停止的步骤数。 单位:计数 有效统计数据:Average、Sum |
StepDuration |
步骤运行的持续时长(以毫秒为单位)。 单位:毫秒 有效统计数据:Average、Sum、Min、Max、Sample Count |
管道步骤指标的维度
维度 | 描述 |
---|---|
PipelineName , StepName |
筛选指定管道和步骤的步骤指标。 |