本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

# 模型可解释性
<a name="clarify-model-explainability"></a>

Ama SageMaker zon Clarify 提供的工具可以帮助解释机器学习 (ML) 模型是如何进行预测的。这些工具可以帮助机器学习建模人员和开发人员以及其他内部利益相关者在部署前从整体上了解模型特征，并在部署后调试模型提供的预测。
+ 要获取数据集和模型的解释，请参阅 [使用 Clarify 进行公平性、模型可解释性和偏见检测 SageMaker](clarify-configure-processing-jobs.md)。
+ 要从 SageMaker AI 终端节点实时获取解释，请参阅[使用 Clarify 进行在线解释 SageMaker](clarify-online-explainability.md)。

对于消费者和监管机构来说，有关机器学习模型如何得出预测结果的透明度也至关重要。如果他们要接受基于模型的决策，他们就需要信任模型预测。 SageMaker Clarify 使用与模型无关的特征归因方法。您可以利用它来了解模型在训练后做出预测的原因，并在推理过程中按实例提供解释。实施工作包括对 [SHAP](https://papers.nips.cc/paper/2017/file/8a20a8621978632d76c43dfd28b67767-Paper.pdf) 进行高效且可扩展的实施。这种方法基于合作博弈论领域的 Shapley 值概念，即为每个特征分配一个特定预测的重要性值。

Clarify 生成部分依赖图 (PDPs)，显示特征对机器学习模型预测结果的边际效应。部分依赖有助于解释给定一组输入特征的目标响应。它还支持计算机视觉 (CV) 和自然语言处理 (NLP) 的可解释性，使用与表格数据解释相同的 Shapley 值 (SHAP) 算法。

在机器学习环境中，解释的作用是什么？ 解释可以认为是对*为什么问题* 的回答，该问题有助于人们了解预测的原因。在机器学习模型环境中，您可能有兴趣回答以下问题：
+ 为什么模型预测结果为阴性，例如给定申请人的贷款被拒绝？ 
+ 模型如何做出预测？
+ 为什么模型做出了错误的预测？
+ 哪些特征对模型行为的影响最大？

您可以将解释用于审计目的和满足监管要求，在模型中建立信任，支持人工决策，以及用于调试和提高模型性能。

需要满足人类了解机器学习推理的性质和结果的要求，这是进行必要解释的关键所在。哲学和认知科学学科的研究表明，人们尤其关注对比性解释，即解释为什么发生了 X 事件而不是其他没有发生的 Y 事件。在这里，X 可能是发生的意想不到或令人惊讶的事件，Y 对应的是基于他们现有心理模型的预期，称为*基准*。请注意，对于同一事件 X，不同的人可能会根据其观点或心理模型 Y 寻求不同的解释。在可解释 AI 的背景下，您可以将 X 视为被解释的示例，将 Y 视为基准，基准通常被选来代表数据集中的非信息示例或平均示例。有时，例如在对图像进行机器学习建模时，基准可能是隐式的，像素颜色相同的图像可作为基准。

## 示例笔记本
<a name="clarify-model-explainability-sample-notebooks"></a>

 SageMaker 为了便于解释模型，Amazon Clarify 提供了以下示例笔记本：
+ [Amaz SageMaker on Cl](https://sagemaker-examples.readthedocs.io/en/latest/sagemaker-clarify/index.html#sagemaker-clarify-processing) arify P SageMaker rocessing — 使用 Clarify 创建处理任务，用于检测偏差并使用特征归因解释模型预测。示例包括使用 CSV 和 JSON 行数据格式、自带容器以及使用 Spark 运行处理作业。
+ [使用 Clarif SageMaker y 解释图像 SageMaker 分类](https://github.com/aws/amazon-sagemaker-examples/blob/master/sagemaker-clarify/computer_vision/image_classification/explainability_image_classification.ipynb) — Clarify 可让您深入了解计算机视觉模型如何对图像进行分类。
+ [使用 Clarify — SageMaker Clar SageMaker ify 解释物](https://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker-clarify/computer_vision/object_detection/object_detection_clarify.ipynb)体检测模型，让你深入了解计算机视觉模型如何检测物体。

本笔记本经过验证，只能在 Amazon SageMaker Studio 中运行。如果您需要有关如何在 Amazon SageMaker Studio 中打开笔记本的说明，请参阅[创建或打开 Amazon SageMaker Studio 经典笔记本电脑](notebooks-create-open.md)。如果系统提示您选择内核，请选择 **Python 3 (Data Science)**。

**Topics**
+ [示例笔记本](#clarify-model-explainability-sample-notebooks)
+ [使用 Shapley 值的特征归因](clarify-shapley-values.md)
+ [SHAP 可解释性基准](clarify-feature-attribute-shap-baselines.md)