监控无服务器端点
要监控无服务器端点,您可以使用 Amazon CloudWatch 警报。CloudWatch 是一项实时收集 Amazon 应用程序和资源指标的服务。警报可在收集指标时监控这些指标,并使您能够预先指定阈值以及在违反该阈值时要采取的操作。例如,如果您的端点违反了错误阈值,CloudWatch 警报就会向您发送通知。通过设置 CloudWatch 警报,您可以了解端点的性能和功能。有关 CloudWatch 警报的更多信息,请参阅《Amazon CloudWatch 用户指南》中的使用 Amazon CloudWatch 警报。
使用 CloudWatch 进行监控
以下指标是无服务器端点指标的详尽列表。以下未列出的任何指标都不会为无服务器端点发布。有关以下指标的信息,请参阅使用 Amazon CloudWatch 监控 Amazon SageMaker。
常见端点指标
这些 CloudWatch 指标与为实时端点发布的指标相同。
OverheadLatency
指标跟踪 SageMaker 增加的所有额外延迟,包括为无服务器端点启动新计算资源的冷启动时间。与按需无服务器端点相比,使用 Provision Concurrency 的无服务器端点的 OverheadLatency
通常要少得多。
无服务器端点还可以使用 Invocations4XXErrors
、Invocations5XXErrors
、Invocations
、ModelLatency
、ModelSetupTime
和 MemoryUtilization
指标。要了解有关这些指标的更多信息,请参阅SageMaker 端点调用指标。
常见的无服务器端点指标
为按需无服务器端点和使用预置并发的无服务器端点发布这些 CloudWatch 指标。
指标名称 | 描述 | 单位/统计数据 |
---|---|---|
ServerlessConcurrentExecutionsUtilization |
并发执行数除以最大并发数。 | 单位:无 有效统计数据:Average、Max、Min |
使用预置并发的无服务器端点的指标
为使用预置并发的无服务器端点发布这些 CloudWatch 指标。
指标名称 | 描述 | 单位/统计数据 |
---|---|---|
ServerlessProvisionedConcurrencyExecutions |
由端点处理的并发执行数。 | 单位:计数 有效统计数据:Average、Max、Min |
ServerlessProvisionedConcurrencyUtilization |
并发执行数除以分配的预置并发。 | 单位:无 有效统计数据:Average、Max、Min |
ServerlessProvisionedConcurrencyInvocations |
由预置并发处理的 InvokeEndpoint 请求数。 |
单位:计数 有效统计数据:Average、Max、Min |
ServerlessProvisionedConcurrencySpilloverInvocations |
未由预置并发处理而由按需无服务器推理处理的 InvokeEndpoint 请求数。 |
单位:计数 有效统计数据:Average、Max、Min |
日志
如果要监控端点日志以进行调试或进度分析,可以使用 Amazon CloudWatch Logs。SageMaker 提供的可用于无服务器端点的日志组是 /aws/sagemaker/Endpoints/[EndpointName]
。有关在 SageMaker 中使用 CloudWatch Logs 的更多信息,请参阅使用 Amazon CloudWatch 记录 Amazon SageMaker 事件。要了解有关 CloudWatch Logs 的更多信息,请参阅《Amazon CloudWatch Logs 用户指南》中的什么是 Amazon CloudWatch Logs?