本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

# 训练后数据和模型偏差指标
<a name="clarify-measure-post-training-bias"></a>

Amaz SageMaker on Clarify 提供了 11 个训练后数据和模型偏差指标，以帮助量化各种公平概念。这些概念不可能同时得到满足，如何选择取决于所分析的涉及潜在偏差案例的具体情况。这些指标大多是从不同人口统计群体的二进制分类混淆矩阵中提取的数字的组合。由于公平性和偏差可通过多种指标来定义，因此需要人为判断来理解和选择哪些指标与个别使用案例相关，客户应咨询相应的利益相关者，以确定其应用的适当公平性衡量标准。

我们使用以下表示法来讨论偏差指标。此处描述的概念模型适用于二进制分类，即事件被标记为在其样本空间中只有两种可能的结果，分别称为阳性结果（值为 1）和阴性结果（值为 0）。这一框架通常可以直接扩展到多类别分类，或在需要时扩展到涉及持续有价值结果的情况。在二进制分类的情况下，分别为原始数据集中记录的结果中的有利分面 *a* 和不利分面 *d* 分配阳性标签和阴性标签。这些标签 y 称为*观测标签*，以区别于机器学习模型在机器学习生命周期的训练或推理阶段分配的*预测标签* y'。这些标签用于定义各自分面结果的概率分布 Pa(y) 和 Pd(y)。
+ 标签：
  + y 表示训练数据集中观测到的事件结果的 n 个标签。
  + y' 表示经过训练的模型对数据集中 n 个观测标签的预测标签。
+ 结果：
  + 样本的阳性结果（值为 1），例如申请被接受。
    + n(1) 是阳性结果（接受）的观测标签数量。
    + n'(1) 是阳性结果（接受）的预测标签数量。
  + 样本的阴性结果（值为 0），例如申请被拒绝。
    + n(0) 是阴性结果（拒绝）的观测标签数量。
    + n'(0) 是阴性结果（拒绝）的预测标签数量。
+ 分面值：
  + 分面 *a* - 定义偏差有利的人口统计的特征值。
    + na 是有利分面值的观测标签数：na = na(1) \$1 na(0) 分面值 *a* 的阳性和阴性观测标签之和。
    + n'a 是有利分面值的预测标签数：n'a = n'a(1) \$1 n'a(0) 分面值 *a* 的阳性和阴性预测结果标签之和。请注意，n'a = na。
  + 分面 *d* - 定义偏差不利的人口统计的特征值。
    + nd 是不利分面值的观测标签数：nd = nd(1) \$1 nd(0) 分面值 *d* 的阳性和阴性观测标签之和。
    + n'd 是不利分面值的预测标签数：n'd = n'd(1) \$1 n'd(0) 分面值 *d* 的阳性和阴性预测标签之和。请注意，n'd = nd。
+ 标注的分面数据结果的概率分布：
  + Pa(y) 是分面 *a* 的观测标签的概率分布。对于二进制标注的数据，该分布由分面 *a* 中标注为阳性结果的样本数与总样本数之比 Pa(y1) = na(1)/ na，以及标注为阴性结果的样本数与总样本数之比 Pa(y0) = na(0)/ na 得出。
  + Pd(y) 是分面 *d* 的观测标签的概率分布。对于二进制标注的数据，该分布由分面 *d* 中标注为阳性结果的样本数与总样本数之比 Pd(y1) = nd(1)/ nd，以及标注为阴性结果的样本数与总样本数之比 Pd(y0) = nd(0)/ nd 得出。

下表包含快速指导的备忘单以及指向训练后偏差指标的链接。

训练后偏差指标


| 训练后偏差指标 | 说明 | 示例问题 | 解析指标值 | 
| --- | --- | --- | --- | 
| [预测标签中正比例的差异 (DPPL)](clarify-post-training-bias-metric-dppl.md) | 衡量有利分面 a 和不利分面 d 之间阳性预测值比例的差异。 |  在预测的阳性结果中，各人口统计群体之间是否存在可能表明偏差的不平衡？  |  标准化二进制和多类别分面标签的范围：`[-1,+1]` 连续标签的范围：(-∞, \$1∞) 解释： [\[See the AWS documentation website for more details\]](http://docs.amazonaws.cn/sagemaker/latest/dg/clarify-measure-post-training-bias.html)  | 
| [差别影响 (DI)](clarify-post-training-bias-metric-di.md) | 测量有利分面 a 和不利分面 d 的预测标签比例之比。 | 在预测的阳性结果中，各人口统计群体之间是否存在可能表明偏差的不平衡？ |  标准化二进制、多类别分面和连续标签的范围：[0,∞) 解释： [\[See the AWS documentation website for more details\]](http://docs.amazonaws.cn/sagemaker/latest/dg/clarify-measure-post-training-bias.html)  | 
| [预测标签中的条件人口统计差异 (CDDPL)](clarify-post-training-bias-metric-cddpl.md)  | 从整体上衡量各分面的预测标签差异，同时也按子组进行衡量。 | 某些人口统计群体在贷款申请结果中被拒绝的比例是否高于其被接受的比例？ |  二进制、多类别和连续结果的 CDDPL 值范围：`[-1, +1]` [\[See the AWS documentation website for more details\]](http://docs.amazonaws.cn/sagemaker/latest/dg/clarify-measure-post-training-bias.html)  | 
| [反事实翻转测试 (FT)](clarify-post-training-bias-metric-ft.md)  | 检查分面 d 的每个成员并评估分面 a 的相似成员是否具有不同的模型预测。 | 某一特定年龄段的人群是否与另一年龄段的人群在所有特征上都非常接近，但平均收入却更高？ | 二进制和多类别分面标签的范围为 [-1, \$11]。[\[See the AWS documentation website for more details\]](http://docs.amazonaws.cn/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | 
| [准确率差异 (AD)](clarify-post-training-bias-metric-ad.md)  | 衡量有利和不利分面的预测准确率之间的差异。 | 该模型对所有人口统计群体应用的标签预测是否同样准确？ | 二进制和多类别分面标签的范围为 [-1, \$11]。[\[See the AWS documentation website for more details\]](http://docs.amazonaws.cn/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | 
| [查全率差异 (RD)](clarify-post-training-bias-metric-rd.md)  | 比较模型对有利和不利分面的查全率。 | 模型对某个年龄组的查全率高于另一年龄组，这是否会造成基于年龄的贷款偏差？ |  二进制和多类别分类的范围：`[-1, +1]`。 [\[See the AWS documentation website for more details\]](http://docs.amazonaws.cn/sagemaker/latest/dg/clarify-measure-post-training-bias.html)  | 
| [有条件录取的差异 (DCAcc)](clarify-post-training-bias-metric-dcacc.md)  | 将观测标签与模型预测的标签进行比较。评估各分面的预测阳性结果（接受）是否相同。 | 在将一个年龄组与另一个年龄组进行比较时，接受贷款的频率是高于还是低于预测值（基于资格条件）？ |  二进制、多类别分面和连续标签的范围：(-∞, \$1∞)。 [\[See the AWS documentation website for more details\]](http://docs.amazonaws.cn/sagemaker/latest/dg/clarify-measure-post-training-bias.html)  | 
| [接受率差异 (DAR)](clarify-post-training-bias-metric-dar.md)  | 衡量有利和不利分面在观测的阳性结果 (TP) 与预测的阳性结果 (TP \$1 FP) 之比方面的差异。 | 该模型在预测各年龄组合格申请人的贷款接受情况时是否具有同等精度？ | 二进制、多类别分面和连续标签的范围为 [-1, \$11]。[\[See the AWS documentation website for more details\]](http://docs.amazonaws.cn/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | 
| [特异性差异 (SD)](clarify-post-training-bias-metric-sd.md)  | 比较模型对有利和不利分面的特异性。 | 模型预测某个年龄组的特异性高于另一年龄组，这是否会造成基于年龄的贷款偏差？ |  二进制和多类别分类的范围：`[-1, +1]`。 [\[See the AWS documentation website for more details\]](http://docs.amazonaws.cn/sagemaker/latest/dg/clarify-measure-post-training-bias.html)  | 
| [有条件拒绝差异 (DCR)](clarify-post-training-bias-metric-dcr.md)  | 将观测标签与模型预测标签进行比较，并评估各分面的阴性结果（拒绝）是否相同。 | 一个年龄组与另一年龄组相比，基于资格条件预测的贷款申请被拒绝的次数是多还是少？ | 二进制、多类别分面和连续标签的范围：(-∞, \$1∞)。[\[See the AWS documentation website for more details\]](http://docs.amazonaws.cn/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | 
| [拒绝率差异 (DRR)](clarify-post-training-bias-metric-drr.md)  | 衡量不利和有利分面在观测的阴性结果 (TN) 与预测的阴性结果 (TN \$1 FN) 之比方面的差异。 | 该模型在预测各年龄组不合格申请人的贷款拒绝情况时是否具有同等精度？ | 二进制、多类别分面和连续标签的范围为 [-1, \$11]。[\[See the AWS documentation website for more details\]](http://docs.amazonaws.cn/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | 
| [平等对待 (TE)](clarify-post-training-bias-metric-te.md)  | 衡量有利和不利分面在假阳性与假阴性之比方面的差异。 | 在贷款申请中，所有年龄段人口的假阳性与假阴性的相对比率是否相同？  | 二进制和多类别分面标签的范围：(-∞, \$1∞)。[\[See the AWS documentation website for more details\]](http://docs.amazonaws.cn/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | 
| [广义熵 (GE)](clarify-post-training-bias-metric-ge.md)  | 衡量模型预测中分配给每项输入的权益 b 的不平等程度。 | 在贷款申请分类的两个候选模型中，一个模型是否比另一个模型导致预期结果的分布更不均衡？ | 二进制和多类别标签的范围：(0, 0.5)。当模型仅预测假阴性时，GE 的定义不明确。[\[See the AWS documentation website for more details\]](http://docs.amazonaws.cn/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | 

有关训练后偏差指标的更多信息，请参阅[金融领域机器学习的公平性衡量标准系列](https://pages.awscloud.com/rs/112-TZM-766/images/Fairness.Measures.for.Machine.Learning.in.Finance.pdf)。

**Topics**
+ [预测标签中正比例的差异 (DPPL)](clarify-post-training-bias-metric-dppl.md)
+ [差别影响 (DI)](clarify-post-training-bias-metric-di.md)
+ [有条件录取的差异 (DCAcc)](clarify-post-training-bias-metric-dcacc.md)
+ [有条件拒绝差异 (DCR)](clarify-post-training-bias-metric-dcr.md)
+ [特异性差异 (SD)](clarify-post-training-bias-metric-sd.md)
+ [查全率差异 (RD)](clarify-post-training-bias-metric-rd.md)
+ [接受率差异 (DAR)](clarify-post-training-bias-metric-dar.md)
+ [拒绝率差异 (DRR)](clarify-post-training-bias-metric-drr.md)
+ [准确率差异 (AD)](clarify-post-training-bias-metric-ad.md)
+ [平等对待 (TE)](clarify-post-training-bias-metric-te.md)
+ [预测标签中的条件人口统计差异 (CDDPL)](clarify-post-training-bias-metric-cddpl.md)
+ [反事实翻转测试 (FT)](clarify-post-training-bias-metric-ft.md)
+ [广义熵 (GE)](clarify-post-training-bias-metric-ge.md)