监控模型质量
模型质量监控作业通过将模型所做的预测与模型尝试预测的实际 Ground Truth 标签进行比较来监控模型的性能。为此，模型质量监控会将从实时或批量推理中捕获的数据与存储在 Amazon S3 存储桶中的实际标签合并，然后将预测结果与实际标签进行比较。
为了衡量模型质量，模型监控器使用依赖于机器学习问题类型的指标。例如，如果您的模型用于解决回归问题，则评估的指标之一是均方误差 (mse)。有关用于不同机器学习问题类型的所有指标的信息，请参阅模型质量指标。
模型质量监控除了遵循与数据质量监控相同的步骤外，还增加了一个步骤：将 Amazon S3 中的实际标签与从实时推理端点或批量转换作业中捕获的预测合并。要监控模型质量，请执行以下步骤：
-
启用数据捕获。这会捕获来自实时推理端点或批量转换作业的推理输入和输出，并将数据存储在 Amazon S3 中。有关更多信息，请参阅 捕获数据。
-
创建基准。在此步骤中，您将运行一个基准作业，将模型的预测与基准数据集中的 Ground Truth 标签进行比较。基准作业会自动创建基准统计规则和约束，这些规则和约束定义了评估模型性能所依据的阈值。有关更多信息，请参阅 创建模型质量基准。
-
定义和计划模型质量监控作业。有关模型质量监控作业的具体信息和代码示例，请参阅计划模型质量监控作业。有关监控作业的一般信息，请参阅计划监控作业。
-
摄取 Ground Truth 标签，这些标签将模型监控与从实时推理端点或批量转换作业捕获的预测数据合并。有关更多信息，请参阅 摄取 Ground Truth 标签并将其与预测合并。
-
将模型质量监控与 Amazon CloudWatch 集成。有关更多信息，请参阅 模型质量 CloudWatch 指标。
-
解释监控作业的结果。有关更多信息，请参阅 解释结果。
-
使用 SageMaker Studio 启用模型质量监控并对结果进行可视化。有关更多信息，请参阅 在 Amazon SageMaker Studio 中可视化实时端点的结果。