Amazon SageMaker Clarify 模型可解释性
Amazon SageMaker Clarify 提供了一些工具来帮助解释机器学习 (ML) 模型如何进行预测。这些工具可以帮助机器学习建模人员和开发人员以及其他内部利益相关者在部署前从整体上了解模型特征，并在部署后调试模型提供的预测。对于消费者和监管机构来说，有关机器学习模型如何得出预测结果的透明度也至关重要。如果他们要接受基于模型的决策，就需要信任模型预测。SageMaker Clarify 使用与模型无关的特征归因方法。您可以利用它来了解模型在训练后做出预测的原因，并在推理过程中按实例提供解释。实施工作包括对 SHAP
Clarify 可生成部分依赖图 (PDP)，显示特征对机器学习模型预测结果的边际效应。部分依赖有助于解释给定一组输入特征的目标响应。它还支持计算机视觉 (CV) 和自然语言处理 (NLP) 可解释性，并使用与表格数据解释所用的相同 Shapley 值 (SHAP) 算法。
在机器学习环境中，解释的作用是什么？ 解释可以认为是对为什么问题 的回答，该问题有助于人们了解预测的原因。在机器学习模型环境中，您可能有兴趣回答以下问题：
-
为什么模型预测结果为阴性，例如给定申请人的贷款被拒绝？
-
模型如何做出预测？
-
为什么模型做出了错误的预测？
-
哪些特征对模型行为的影响最大？
您可以将解释用于审计目的和满足监管要求，在模型中建立信任，支持人工决策，以及用于调试和提高模型性能。
需要满足人类了解机器学习推理的性质和结果的要求，这是进行必要解释的关键所在。哲学和认知科学学科的研究表明，人们尤其关注对比性解释，即解释为什么发生了 X 事件而不是其他没有发生的 Y 事件。在这里，X 可能是发生的意想不到或令人惊讶的事件，Y 对应的是基于他们现有心理模型的预期，称为基准。请注意，对于同一事件 X，不同的人可能会根据其观点或心理模型 Y 寻求不同的解释。在可解释 AI 的背景下，您可以将 X 视为被解释的示例，将 Y 视为基准，基准通常被选来代表数据集中的非信息示例或平均示例。有时，例如在对图像进行机器学习建模时，基准可能是隐式的，像素颜色相同的图像可作为基准。
示例笔记本
Amazon SageMaker Clarify 提供了以下示例笔记本用于模型可解释性：
-
Amazon SageMaker Clarify 处理
- 使用 SageMaker Clarify 创建处理作业，用于检测偏差并使用特征归因解释模型预测。示例包括使用 CSV 和 JSON 行数据格式、自带容器以及使用 Spark 运行处理作业。 -
使用 SageMaker Clarify 解释图像分类
- 利用 SageMaker Clarify 可以深入了解计算机视觉模型如何对图像进行分类。 -
使用 SageMaker Clarify 解释对象检测模型
- 利用 SageMaker Clarify 可以深入了解计算机视觉模型如何检测对象。
此笔记本经过验证，只能在 Amazon SageMaker Studio 中运行。如果需要有关如何在 Amazon SageMaker Studio 中打开笔记本的说明，请参阅创建或打开 Amazon SageMaker Studio 笔记本。如果系统提示您选择内核，请选择 Python 3 (Data Science)。