Amazon SageMaker 模型监控器 - Amazon SageMaker
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon SageMaker 模型监控器

Amazon SageMaker 模型监控器 持续监控生产中的 Amazon SageMaker 机器学习模型的质量。借助 模型监控器,您可以设置警报,以在模型质量出现偏差时通知您。通过及早主动检测这些偏差,您可以采取纠正措施,例如重新训练模型、审计上游系统或修复质量问题,而无需手动监控模型或构建其他工具。您可以使用不需要编码的模型监控器预构建监控功能。您还可以通过编码来提供自定义分析,从而灵活地监控模型。

模型监控器 提供以下类型的监控:

模型监控器 的工作原理

Amazon SageMaker 模型监控器 自动监控生产中的机器学习 (ML) 模型,并在出现质量问题时通知您。 模型监控器 使用规则来检测模型中的偏差,并在发生偏差时向您发出警报。下图说明了此流程的工作方式。


                使用  的模型监控流程。Amazon SageMaker 模型监控器

要启用模型监控,请执行以下步骤,这些步骤通过各种数据收集、监控和分析过程遵循数据的路径:

  • 允许终端节点捕获从传入请求到经过训练的 ML 模型和生成的模型预测的数据。

  • 从用于训练模型的数据集创建基准。基准计算指标并建议指标的约束。模型中的实时预测将与约束进行比较,如果超出约束值,则报告为违规。

  • 创建一个监控计划,指定要收集哪些数据、收集数据的频率、如何分析数据以及生成哪些报告。

  • 检查报告(将最新数据与基准进行比较),并监视报告的任何违规情况以及来自 的指标和通知Amazon CloudWatch。

Notes

模型监控器 示例笔记本

有关介绍 模型监控器 的完整端到端工作流程的示例笔记本,请参阅 Amazon SageMaker 模型监控器 简介

有关为现有终端节点启用模型监控体验的示例笔记本,请参阅启用模型监控

有关可视化监控计划中选定执行的 statistics.json 文件的示例笔记本,请参阅模型监控器可视化

有关介绍如何创建和访问可用于在 中运行示例的 Jupyter 笔记本实例的说明SageMaker,请参阅使用 Amazon SageMaker 笔记本实例。创建笔记本实例并打开它后,选择 SageMaker Examples (示例) 选项卡以查看所有SageMaker示例的列表。要打开笔记本,请选择笔记本的 Use (使用) 选项卡,然后选择 Create copy (创建副本)。