Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

获取分析结果

本主题介绍如何获取 SageMaker Clarify 生成的分析结果。SageMaker Clarify 处理作业完成后，您可以下载输出文件，以在 SageMaker Studio 中检查或可视化结果。

SageMaker Clarify 处理作业输出目录包含以下文件：

以下几节提供了有关偏差分析、SHAP 分析、计算机视觉可解释性分析和部分依赖图 (PDP) 分析生成的架构和报告的详细信息。如果配置分析包含用于计算多个分析的参数，则结果将聚合到一个分析和一个报告文件中。

偏差分析

Amazon SageMaker Clarify 使用 Amazon SageMaker Clarify 偏差和公平性术语中记录的术语来讨论偏差和公平性。

分析文件的架构

分析文件采用 JSON 格式，分为两部分：训练前偏差指标和训练后偏差指标。训练前和训练后偏差指标的参数如下。

以下是将计算训练前和训练后偏差指标的分析配置示例。

{
    "version": "1.0",
    "pre_training_bias_metrics": {
        "label": "Target",
        "label_value_or_threshold": "1",
        "facets": {
            "Gender": [{
                "value_or_threshold": "0",
                "metrics": [
                    {
                        "name": "CDDL",
                        "description": "Conditional Demographic Disparity in Labels (CDDL)",
                        "value": -0.06
                    },
                    {
                        "name": "CI",
                        "description": "Class Imbalance (CI)",
                        "value": 0.6
                    },
                    ...
                ]
            }]
        }
    },
    "post_training_bias_metrics": {
        "label": "Target",
        "label_value_or_threshold": "1",
        "facets": {
            "Gender": [{
                "value_or_threshold": "0",
                "metrics": [
                    {
                        "name": "AD",
                        "description": "Accuracy Difference (AD)",
                        "value": -0.13
                    },
                    {
                        "name": "CDDPL",
                        "description": "Conditional Demographic Disparity in Predicted Labels (CDDPL)",
                        "value": 0.04
                    },
                    ...
                ]
            }]
        }
    }
}

偏差分析报告

偏差分析报告包括几个表格和图表，其中包含详细的解释和描述。这包括但不限于标签值分布、分面值分布、高级模型性能图、偏差指标表及其描述。有关偏差指标及其解释方法的更多信息，请参阅了解 Amazon SageMaker Clarify 如何帮助检测偏差。

SHAP 分析

SageMaker Clarify 处理作业使用 Kernel SHAP 算法来计算特征归因。SageMaker Clarify 处理作业会生成局部和全局 SHAP 值。它们有助于确定每项特征对模型预测的贡献。局部 SHAP 值表示每个实例的特征重要性，而全局 SHAP 值则聚合数据集中所有实例的局部 SHAP 值。有关 SHAP 值及其解析方法的更多信息，请参阅使用 Shapley 值的特征归因。

SHAP 分析文件的架构

全局 SHAP 分析结果存储在分析文件的解释部分，置于 kernel_shap 方法之下。SHAP 分析文件的不同参数如下所示：

以下是表格数据集的 SHAP 分析的示例输出。

{
    "version": "1.0",
    "explanations": {
        "kernel_shap": {
            "Target": {
                 "global_shap_values": {
                    "Age": 0.022486410860333206,
                    "Gender": 0.007381025261958729,
                    "Income": 0.006843906804137847,
                    "Occupation": 0.006843906804137847,
                    ...
                },
                "expected_value": 0.508233428001
            }
        }
    }
}

以下是文本数据集的 SHAP 分析的示例输出。与 Comments 列对应的输出是在分析文本特征后生成的输出示例。

{
    "version": "1.0",
    "explanations": {
        "kernel_shap": {
            "Target": {
               "global_shap_values": {
                    "Rating": 0.022486410860333206,
                    "Comments": 0.058612104851485144,
                    ...
                },
                "expected_value": 0.46700941970297033,
                "global_top_shap_text": {
                    "charming": 0.04127962903247833,
                    "brilliant": 0.02450240786522321,
                    "enjoyable": 0.024093569652715457,
                    ...
                }
            }
        }
    }
}

生成的基准文件的架构

如果未提供 SHAP 基准配置，SageMaker Clarify 处理作业会生成基准数据集。SageMaker Clarify 使用基于距离的聚类算法，从输入数据集创建的集群中生成基准数据集。生成的基准数据集保存在 CSV 文件中，位于 explanations_shap/baseline.csv。此输出文件包含一个标题行和几个实例，这些实例基于分析配置中指定的 num_clusters 参数。基准数据集仅包含特征列。以下是通过对输入数据集进行聚类而创建的基准的示例。

Age,Gender,Income,Occupation
35,0,2883,1
40,1,6178,2
42,0,4621,0

表格数据集可解释性分析中局部 SHAP 值的架构

对于表格数据集，如果使用单个计算实例，SageMaker Clarify 处理作业会将局部 SHAP 值保存到名为 explanations_shap/out.csv 的 CSV 文件中。如果使用多个计算实例，则局部 SHAP 值将保存到 explanations_shap 目录中的多个 CSV 文件。

包含局部 SHAP 值的输出文件中有一行包含标题定义的每列的局部 SHAP 值。标题遵循 Feature_Label 命名约定，即特征名称后面加下划线，后跟目标变量的名称。

对于多类问题，标题中的特征名称会先变化，然后是标签。例如，有两项特征 F1, F2 和两个类 L1 和 L2，那么在标题中显示为 F1_L1、F2_L1、F1_L2 和 F2_L2。如果分析配置包含 joinsource_name_or_index 参数的值，则联接中使用的键列将附加到标题名称的末尾。这允许将局部 SHAP 值映射到输入数据集的实例。以下是包含 SHAP 值的输出文件的示例。

Age_Target,Gender_Target,Income_Target,Occupation_Target
0.003937908,0.001388849,0.00242389,0.00274234
-0.0052784,0.017144491,0.004480645,-0.017144491
...

NLP 可解释性分析中局部 SHAP 值的架构

对于 NLP 可解释性分析，如果使用单个计算实例，SageMaker Clarify 处理作业会将局部 SHAP 值保存到名为 explanations_shap/out.jsonl 的 JSON 行文件中。如果使用多个计算实例，则局部 SHAP 值将保存到 explanations_shap 目录中的多个 JSON 行文件。

每个包含局部 SHAP 值的文件都有几行数据，每行都是一个有效的 JSON 对象。JSON 对象具有以下属性：

以下是局部 SHAP 值文件中单行的示例，为提高可读性而进行了美化。

{
    "explanations": [
        {
            "feature_name": "Rating",
            "data_type": "categorical",
            "attributions": [
                {
                    "attribution": [0.00342270632248735]
                }
            ]
        },
        {
            "feature_name": "Comments",
            "data_type": "free_text",
            "attributions": [
                {
                    "attribution": [0.005260534499999983],
                    "description": {
                        "partial_text": "It's",
                        "start_idx": 0
                    }
                },
                {
                    "attribution": [0.00424190349999996],
                    "description": {
                        "partial_text": "a",
                        "start_idx": 5
                    }
                },
                {
                    "attribution": [0.010247314500000014],
                    "description": {
                        "partial_text": "good",
                        "start_idx": 6
                    }
                },
                {
                    "attribution": [0.006148907500000005],
                    "description": {
                        "partial_text": "product",
                        "start_idx": 10
                    }
                }
            ]
        }
    ]
}

SHAP 分析报告

SHAP 分析报告提供了一张条形图，图中最多有 10 个主要全局 SHAP 值。以下图表示例显示了 4 项主要特征的 SHAP 值。

计算机视觉 (CV) 可解释性分析

SageMaker Clarify 计算机视觉可解释性采用由图像组成的数据集，并将每张图像视为超像素集合。分析后，SageMaker Clarify 处理作业会输出一个图像数据集，其中每张图像都显示超像素的热图。

以下示例在左侧显示了输入限速标志，右侧的热图显示了 SHAP 值的大小。这些 SHAP 值是通过图像识别 Resnet-18 模型计算得出，该模型经过训练可以识别德国交通标志。Man vs. computer: Benchmarking machine learning algorithms for traffic sign recognition（人与计算机：用于识别交通标志的机器学习算法基准测试）一文中提供了德国交通标志识别基准 (GTSRB) 数据集。在示例输出中，较大的正值表明超像素与模型预测的正相关性较强。较大的负值表明超像素与模型预测的负相关性较强。热图中显示的 SHAP 值的绝对值越大，超像素与模型预测之间的关系就越强。

有关更多信息，请参阅使用 SageMaker Clarify 解释图像分类和使用 Amazon SageMaker Clarify 解释对象检测模型示例笔记本。

部分依赖图 (PDP) 分析

部分依赖图显示预测的目标响应对一组相关输入特征的依赖性。这些特征在所有其他输入特征值的基础上进行边缘化，被称为补充特征。直观地说，您可以将部分依赖性解释为目标响应，它是每个相关输入特征的预期函数。

分析文件的架构

PDP 值存储在分析文件 explanations 部分的 pdp 方法下。explanations 的参数设置如下所示：

以下是包含 PDP 分析结果的分析文件的输出示例。

{
    "version": "1.0",
    "explanations": {
        "pdp": [
            {
                "feature_name": "Income",
                "data_type": "numerical",
                "feature_values": [1046.9, 2454.7, 3862.5, 5270.2, 6678.0, 8085.9, 9493.6, 10901.5, 12309.3, 13717.1],
                "data_distribution": [0.32, 0.27, 0.17, 0.1, 0.045, 0.05, 0.01, 0.015, 0.01, 0.01],
                "model_predictions": [[0.69, 0.82, 0.82, 0.77, 0.77, 0.46, 0.46, 0.45, 0.41, 0.41]],
                "label_headers": ["Target"]
            },
            ...
        ]
    }
}

PDP 分析报告

您可以生成包含每项特征的 PDP 图表的分析报告。PDP 图表沿 x 轴绘制 feature_values，沿 y 轴绘制 model_predictions。对于多类模型，model_predictions 是一个数组，该数组的每个元素都对应于一个模型预测类。

以下是特征 Age 的 PDP 图表示例。在示例输出中，PDP 显示了分组到存储桶中的特征值的数量。存储桶的数量由 grid_resolution 决定。根据模型预测绘制特征值存储桶。在本例中，较高的特征值具有相同的模型预测值。