监控模型质量 - Amazon SageMaker
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

监控模型质量

模型质量监控作业通过将模型做出的预测与模型尝试预测的实际基本实际情况标签进行比较,来监控模型的性能。为此,模型质量监控将从实时推理捕获的数据与存储在 Amazon S3 存储桶中的实际标签合并,并将预测与实际标签进行比较。

为了衡量模型质量,模型监控器使用依赖于 ML 问题类型的指标。例如,如果您的模型针对的是回归问题,则评估的指标之一是均方误差 (mse)。有关用于不同 ML 问题类型的所有指标的信息,请参阅模型质量指标

模型质量监控遵循与数据质量监控相同的步骤,但又增加了将实际标签从 Amazon S3 与从实时推理终端节点捕获的预测合并起来的步骤。要监控模型质量,请执行以下步骤:

  • 启用数据捕获。这将从实时推理终端节点捕获推理输入和输出,并将数据存储在 中Amazon S3。有关更多信息,请参阅捕获数据

  • 创建基准。在此步骤中,您将运行一个基准作业,该作业将模型中的预测与基准数据集中的基本实际情况标签进行比较。基准作业自动创建基准统计规则和约束,这些规则和约束定义了评估模型性能所依据的阈值。有关更多信息,请参阅创建模型质量基准

  • 定义和计划模型质量监控作业。有关更多信息,请参阅计划模型质量监控作业

  • 提取模型监控器与来自实时推理终端节点的捕获的预测数据合并的基本实际情况标签。有关更多信息,请参阅提取 Ground Truth 标签,并将标签与预测合并

  • 将模型质量监控与 集成Amazon CloudWatch。有关更多信息,请参阅模型质量CloudWatch指标

  • 解释监控作业的结果。有关更多信息,请参阅解释结果

  • 使用 SageMaker Studio 启用模型质量监控和可视化结果。有关更多信息,请参阅在 Amazon SageMaker Studio 中可视化结果