模型可解释性 - Amazon SageMaker
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

模型可解释性

Amazon SageMaker Clarify 提供了一些工具来帮助解释机器学习 (ML) 模型如何进行预测。这些工具可以帮助 ML 建模器和开发人员以及其他内部利益相关者在部署前了解模型特征,并调试模型在部署后提供的预测。对于需要信任模型预测(如果他们要接受基于模型预测的决策)的消费者和监管人而言,ML 模型如何进行预测的透明度也至关重要。 SageMaker Clarify 使用模型无关的特征归因方法,您可以使用该方法了解模型在训练后进行预测的原因,并在推理期间提供每个实例的说明。该实施包括一个可扩展且高效的SHAP 实施,基于合作游戏理论领域中的 Shapley 值概念,该概念为每个特征分配一个特定预测的重要性值。

机器学习上下文中的解释的功能是什么? 解释可被视为为什么问题的答案,以帮助人们了解预测的原因。在 ML 模型的上下文中,您可能有兴趣回答如下问题:

  • “模型为什么预测到负面结果,例如给定申请者的拒绝?”

  • “模型如何进行预测?”

  • “为什么模型进行的预测不正确?”

  • “哪些特征对模型的行为影响最大?”

您可以使用审核和满足法规要求的说明,在模型中建立信任,支持人工决策,以及调试和改进模型性能。

满足人们对 ML 推理的性质和结果的了解的需求对于需要进行说明来说至关重要。来自理理性学和神经科学领域的研究表明,人们特别关心对比解释,或者关注解释 X 事件发生的原因,而不是没有发生某个其他事件 Y。此处,X 可能是意外或意外发生的事件,Y 根据其现有的称为基准的心模型来对应期望。请注意,对于同一事件 X,不同的人可能会根据他们的视角或心因模型 Y 寻求不同的解释。在可解释 AI 的上下文中,您可以将 X 视为解释的示例,将 Y 视为通常选择来表示数据集中的不信息性示例或平均示例的基准。有时,对于图像的 ML 模型,基准可能是隐式的,例如,具有所有相同颜色的像素的图像。