监控模型质量 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

监控模型质量

模型质量监控作业通过将模型的预测与模型试图预测的实际地面真值标签进行比较来监控模型的性能。为此,模型质量监控将从实时推理中捕获的数据与您存储在 Amazon S3 存储桶中的实际标签合并,然后将预测值与实际标签进行比较。

要测量模型质量,模型监视器使用取决于 ML 问题类型的度量。例如,如果模型用于回归问题,则评估的度量之一为均方误差 (mse)。有关用于不同 ML 问题类型的所有度量的信息,请参阅模型质量指标.

模型质量监控遵循与数据质量监控相同的步骤,但增加了将 Amazon S3 的实际标签与从实时推理终端节点捕获的预测合并的额外步骤。要监视模型质量,请按照下列步骤操作:

  • 启用数据捕获。这将捕获来自实时推理终端节点的推理输入和输出,并将数据存储在 Amazon S3 中。有关更多信息,请参阅捕获数据

  • 创建基准。在此步骤中,您将运行一个基线作业,该作业将模型中的预测与基线数据集中的地面真相标注进行比较。基线作业会自动创建基线统计规则和约束,这些规则和约束定义评估模型性能所依据的阈值。有关更多信息,请参阅创建模型质量基线

  • 定义和计划模型质量监控作业。有关更多信息,请参阅计划模型质量监控作业

  • 引入地面真实标签,用于建模监视器与实时推理端点捕获的预测数据进行合并。有关更多信息,请参阅摄取 Ground Truth 标签并将其与预测合并

  • 将模型质量监控与 Amazon CloudWatch 集成。有关更多信息,请参阅模型质量 CloudWatch 指标

  • 解释监控作业的结果。有关更多信息,请参阅解释结果

  • 使用 SageMaker Studio 启用模型质量监控和可视化结果。有关更多信息,请参阅在 Amazon SageMaker Studio 中可视化结果