本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。
监控模型质量
模型质量监控作业通过将模型的预测与模型试图预测的实际地面真相标签进行比较，来监控模型的性能。为此，模型质量监控将从实时推断中捕获的数据与存储在 Amazon S3 存储桶中的实际标签合并，然后将预测结果与实际标签进行比较。
为了衡量模型质量，模型监视器使用取决于机器学习问题类型的指标。例如，如果您的模型是针对回归问题，则评估的指标之一是均方误差 (mse)。有关用于不同机器学习问题类型的所有指标的信息，请参阅模型质量指标.
模型质量监控遵循与数据质量监控相同的步骤，但增加了将 Amazon S3 的实际标签与从实时推理终端节点捕获的预测结果合并的额外步骤。要监控模型质量，请执行以下步骤：
-
启用数据捕获。这将捕获来自实时推理终端节点的推理输入和输出，并将数据存储在 Amazon S3 中。有关更多信息，请参阅 捕获数据。
-
创建基准。在此步骤中，您将运行一个基线作业，将模型的预测与基线数据集中的地面真相标签进行比较。基线作业会自动创建基线统计规则和约束，这些规则和约束条件定义了评估模型性能的阈值。有关更多信息，请参阅 创建模型质量基准。
-
定义和计划模型质量监控作业。有关更多信息，请参阅 计划模型质量监控职位。
-
采集模型监视器的地面真相标签与来自实时推理端点捕获的预测数据合并。有关更多信息，请参阅 摄取 Ground Truth 标签并将其与预测合并。
-
将模型质量监控与 Amazon CloudWatch 集成。有关更多信息，请参阅 模型质量 CloudWatch 指标。
-
解释监控作业的结果。有关更多信息，请参阅 解释结果。
-
使用 SageMaker Studio 可启用模型质量监控并可视化结果。有关更多信息，请参阅 在亚马逊可视化结果 SageMaker 工作室。