本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。
Amazon SageMaker 模型监控器
Amazon SageMaker 模型监控器 持续监控生产中的 Amazon SageMaker 机器学习模型的质量。借助 模型监控器，您可以设置警报，以在模型质量出现偏差时通知您。通过及早主动检测这些偏差，您可以采取纠正措施，例如重新训练模型、审计上游系统或修复质量问题，而无需手动监控模型或构建其他工具。您可以使用不需要编码的模型监控器预构建监控功能。您还可以通过编码来提供自定义分析，从而灵活地监控模型。
模型监控器 提供以下类型的监控：
-
监控数据质量 - 监控数据质量偏差。
-
监控模型质量 - 监控模型质量指标中的偏差，例如准确性。
-
监控生产中模型的偏差 - 监控模型预测中的偏差。
-
监控生产中模型的 功能署名 - 监控特征属性的偏差。
主题
模型监控器 的工作原理
Amazon SageMaker 模型监控器 自动监控生产中的机器学习 （ML） 模型，并在出现质量问题时通知您。 模型监控器 使用规则来检测模型中的偏差，并在发生偏差时向您发出警报。下图说明了此流程的工作方式。
要启用模型监控，请执行以下步骤，这些步骤通过各种数据收集、监控和分析过程遵循数据的路径：
-
允许终端节点捕获从传入请求到经过训练的 ML 模型和生成的模型预测的数据。
-
从用于训练模型的数据集创建基准。基准计算指标并建议指标的约束。模型中的实时预测将与约束进行比较，如果超出约束值，则报告为违规。
-
创建一个监控计划，指定要收集哪些数据、收集数据的频率、如何分析数据以及生成哪些报告。
-
检查报告（将最新数据与基准进行比较），并监视报告的任何违规情况以及来自 的指标和通知Amazon CloudWatch。
-
模型监控器 目前仅支持托管单个模型的终端节点，不支持监控多模型终端节点。有关使用多模型终端节点的信息，请参阅 使用多模型终端节点托管多个模型。
-
模型监控器 支持监控推理管道，但捕获和分析数据是针对整个管道而不是针对管道中的各个容器完成的。
-
如果您在自定义中启动 SageMaker StudioAmazon VPC，则需要创建 VPC 终端节点模型监控器以允许 与 Amazon S3 和 进行通信CloudWatch。有关 VPC 终端节点的信息，请参阅 https://docs.amazonaws.cn/vpc/latest/userguide/vpc-endpoints.html 用户指南 中的 Amazon Virtual Private CloudVPC 终端节点。有关在自定义 VPC 中启动 SageMaker Studio 的信息，请参阅将 SageMaker Studio 笔记本连接到 VPC 中的资源。
模型监控器 示例笔记本
有关介绍 模型监控器 的完整端到端工作流程的示例笔记本，请参阅 Amazon SageMaker 模型监控器 简介
有关为现有终端节点启用模型监控体验的示例笔记本，请参阅启用模型监控
有关可视化监控计划中选定执行的 statistics.json 文件的示例笔记本，请参阅模型监控器可视化
有关介绍如何创建和访问可用于在 中运行示例的 Jupyter 笔记本实例的说明SageMaker，请参阅使用 Amazon SageMaker 笔记本实例。创建笔记本实例并打开它后，选择 SageMaker Examples （示例） 选项卡以查看所有SageMaker示例的列表。要打开笔记本，请选择笔记本的 Use （使用） 选项卡，然后选择 Create copy （创建副本）。