Amazon SageMaker 模型监控器 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon SageMaker 模型监控器

Amazon SageMaker 模型监控器持续监控生产中的 Amazon SageMaker 机器学习模型的质量。利用模型监控器,您可以设置在模型质量出现偏差时向您发送通知的警报。对这些偏差的早期主动检测使您能够采取纠正措施,例如重新训练模型、审计上游系统或解决质量问题,而不必手动监控模型或构建其他工具。您可以使用不需要编写代码的模型监控器预构建监控功能。您还可以通过编码来提供自定义分析,从而灵活地监控模型。

型号监视器提供以下类型的监视:

模型监控器的工作原理

Amazon SageMaker 型号监控器自动监控生产中的机器学习 (ML) 模型,并在出现质量问题时向您发送通知。模型监视器使用规则检测模型中的漂移,并在发生时提醒您。下图说明了此流程的工作方式。


                使用 Amazon SageMaker 模型监视器的模型监视流程。

要启用模型监控,您需要执行以下步骤,这些步骤在各种数据收集、监控和分析过程中跟随数据路径:

  • 使终端节点能够捕获从传入请求到已训练的 ML 模型和结果模型预测的数据。

  • 从用于训练模型的数据集创建基准。基线计算度量并建议衡量指标的约束。模型中的实时预测将与约束进行比较,如果它们在约束值之外,则会作为违规报告。

  • 创建一个监控计划,指定要收集哪些数据、数据收集频率、数据分析方式以及生成哪些报告。

  • 检查将最新数据与基准进行比较的报告,并观察报告的任何违规行为以及 Amazon CloudWatch 的指标和通知。

Notes
  • 模型监视器目前仅支持表格数据。

  • 模型监控器目前仅支持托管单个模型的终端节点,不支持监控多模型终端节点。有关使用多模型终端节点的信息,请参阅 使用多模型终端节点托管多个模型

  • 模型监控器支持监控推理管道,但捕获和分析数据是针对整个管道而不是针对管道中的各个容器完成的。

  • 为了防止对推断请求的影响,Data Capture 会在磁盘使用率较高的情况下停止捕获请求。建议您将磁盘利用率保持在 75% 以下,以确保数据捕获继续捕获请求。

  • 如果您在自定义亚马逊 VPC 中启动 SageMaker Studio,则需要创建 VPC 终端节点以使模型监视器能够与 Amazon S3 和 CloudWatch 进行通信。有关 VPC 终端节点的信息,请参阅VPC 终端节点中的Amazon Virtual Private Cloud 用户指南. 有关在自定义 VPC 中启动 SageMaker 工作室的信息,请参阅将 SageMaker Studio 笔记本 Connect 到 VPC 中的资源.

模型监控器示例笔记本

有关介绍模型监控器完整端到端工作流程的示例笔记本,请参阅Amazon SageMaker 模型监视器简介.

有关可视化监控计划中选定执行的 statistics.json 文件的示例笔记本,请参阅模型监控器可视化

有关介绍如何创建和访问可用于在 SageMaker 中运行示例的 Jupyyter 笔记本实例的说明,请参阅使用 Amazon SageMaker 笔记本实例. 在您创建了笔记本实例并打开该实例之后,请选择SageMaker 示例选项卡以查看所有 SageMaker 示例的列表。要打开笔记本,请选择笔记本的使用选项卡,然后选择创建副本.