本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。
监控数据和模型质量
Amazon SageMaker Model Monitor 监控生产中亚马逊 SageMaker 机器学习模型的质量。您可以使用实时端点（或定期运行的批量转换作业）设置持续监控，也可以对异步批量转换作业进行按计划监控。借助 Model Monitor，您可以设置警报，以便在模型质量出现偏差时通知您。对这些偏差的早期主动检测使您能够采取纠正措施，例如重新训练模型、审计上游系统或解决质量问题，而不必手动监控模型或构建其他工具。您可以使用不需要编码的 Model Monitor 预构建监控功能。您还可以通过编码来提供自定义分析，从而灵活地监控模型。
Model Monitor 提供以下类型的监控：
-
监控数据质量 - 监控数据质量的偏移。
-
监控模型质量 - 监控模型质量指标（如准确性）的偏移。
-
监控生产中模型的偏差偏移 - 监控模型预测中的偏差。
-
监控生产中模型的特征归因偏移 - 监控特征归因中的偏移。
主题
Model Monitor 的工作原理
Amazon M SageMaker odel Monitor 会自动监控生产中的机器学习 (ML) 模型，并在出现质量问题时通知您。Model Monitor 使用规则来检测模型中的偏差，并在出现偏差时提醒您。下图显示了将模型部署到实时端点情况下此过程的工作原理。
您还可以使用 Model Monitor 来监控批量转换作业，而不是实时端点。在这种情况下，Model Monitor 将监控推理输入和输出，而不是接收对端点的请求并跟踪预测。下图显示了监控批量转换作业的过程。
要启用模型监控，您需要执行以下步骤，这些步骤在各种数据收集、监控和分析过程中跟随数据路径。
-
对于实时端点，支持该端点捕获从传入请求到已训练机器学习模型的数据以及由此产生的模型预测结果。
-
对于批量转换作业，支持捕获批量转换输入和输出的数据。
-
从用于训练模型的数据集创建基准。该基准会计算指标并建议指标的约束条件。将模型中的实时预测或批量预测与约束条件进行比较，如果这些预测超出约束值，则报告为违规。
-
创建一个监控计划，该计划指定要收集的数据、数据收集频率、数据分析方式以及生成的报告。
-
检查报告，这些报告将最新数据与基准进行比较，并注意报告的任何违规行为以及来自亚马逊的指标和通知 CloudWatch。
注意
-
Model Monitor 仅计算表格数据的模型指标和统计数据。例如，仍然可以监控将图像作为输入并根据该图像输出标签的图像分类模型。Model Monitor 将能够计算输出（而不是输入）的指标和统计数据。
-
Model Monitor 目前仅支持托管单个模型的端点，不支持监控多模型端点。有关使用多模型终端节点的信息，请参阅在一个端点后的一个容器中托管多个模型。
-
Model Monitor 支持监控推理管道，但捕获和分析数据是针对整个管道而不是针对管道中的各个容器完成的。
-
为了防止对推理请求产生影响，数据捕获功能会在磁盘利用率较高时停止捕获请求。建议将磁盘利用率保持在 75% 以下，以确保数据捕获功能继续捕获请求。
-
如果您在自定义 Amazon VPC 中启动 SageMaker Studio，则需要创建 VPC 终端节点以使模型监控器能够与 Amazon S3 和进行通信 CloudWatch。有关 VPC 端点的信息，请参阅《Amazon Virtual Private Cloud 用户指南》中的 VPC 端点。有关在自定义 VPC 中启动 SageMaker Studio 的信息，请参阅将 VPC 中的 Studio 笔记本电脑连接到外部资源。
Model Monitor 示例笔记本
有关使用模型监控器和实时终端节点完成完整 end-to-end 工作流程的示例笔记本，请参阅 Amazon SageMaker 模型监视器简介
有关可视化监控计划中选定执行的 statistics.json 文件的示例笔记本，请参阅 Model Monitor 可视化
有关向您展示如何创建和访问可用于在中运行示例的 Jupyter 笔记本实例的说明 SageMaker，请参阅。Amazon SageMaker 笔记本实例创建并打开笔记本实例后，选择 “SageMaker 示例” 选项卡以查看所有 SageMaker 示例的列表。要打开笔记本，请选择笔记本的使用选项卡，然后选择创建副本。