测量训练后数据和模型偏差 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

测量训练后数据和模型偏差

Amaz SageMaker on Clarify 提供了 11 个训练后数据和模型偏差指标，以帮助量化各种公平概念。这些概念不可能同时得到满足，如何选择取决于所分析的涉及潜在偏差案例的具体情况。这些指标大多是从不同人口统计群体的二进制分类混淆矩阵中提取的数字的组合。由于公平性和偏差可通过多种指标来定义，因此需要人为判断来理解和选择哪些指标与个别使用案例相关，客户应咨询相应的利益相关者，以确定其应用的适当公平性衡量标准。

我们使用以下表示法来讨论偏差指标。此处描述的概念模型适用于二进制分类，即事件被标记为在其样本空间中只有两种可能的结果，分别称为阳性结果（值为 1）和阴性结果（值为 0）。这一框架通常可以直接扩展到多类别分类，或在需要时扩展到涉及持续有价值结果的情况。在二进制分类的情况下，分别为原始数据集中记录的结果中的有利分面 a 和不利分面 d 分配阳性标签和阴性标签。这些标签 y 称为观测标签，以区别于机器学习模型在机器学习生命周期的训练或推理阶段分配的预测标签 y'。这些标签用于定义各自分面结果的概率分布 Pa(y) 和 Pd(y)。

  • 标签：

    • y 表示训练数据集中观测到的事件结果的 n 个标签。

    • y' 表示经过训练的模型对数据集中 n 个观测标签的预测标签。

  • 结果：

    • 样本的阳性结果（值为 1），例如申请被接受。

      • n(1) 是阳性结果（接受）的观测标签数量。

      • n'(1) 是阳性结果（接受）的预测标签数量。

    • 样本的阴性结果（值为 0），例如申请被拒绝。

      • n(0) 是阴性结果（拒绝）的观测标签数量。

      • n'(0) 是阴性结果（拒绝）的预测标签数量。

  • 分面值：

    • 分面 a - 定义偏差有利的人口统计的特征值。

      • na 是有利分面值的观测标签数：na = na(1) + na(0) 分面值 a 的阳性和阴性观测标签之和。

      • n'a 是有利分面值的预测标签数：n'a = n'a(1) + n'a(0) 分面值 a 的阳性和阴性预测结果标签之和。请注意，n'a = na。

    • 分面 d - 定义偏差不利的人口统计的特征值。

      • nd 是不利分面值的观测标签数：nd = nd(1) + nd(0) 分面值 d 的阳性和阴性观测标签之和。

      • n'd 是不利分面值的预测标签数：n'd = n'd(1) + n'd(0) 分面值 d 的阳性和阴性预测标签之和。请注意，n'd = nd。

  • 标注的分面数据结果的概率分布：

    • Pa(y) 是分面 a 的观测标签的概率分布。对于二进制标注的数据，该分布由分面 a 中标注为阳性结果的样本数与总样本数之比 Pa(y1) = na(1)/ na，以及标注为阴性结果的样本数与总样本数之比 Pa(y0) = na(0)/ na 得出。

    • Pd(y) 是分面 d 的观测标签的概率分布。对于二进制标注的数据，该分布由分面 d 中标注为阳性结果的样本数与总样本数之比 Pd(y1) = nd(1)/ nd，以及标注为阴性结果的样本数与总样本数之比 Pd(y0) = nd(0)/ nd 得出。

下表包含快速指导的备忘单以及指向训练后偏差指标的链接。

训练后偏差指标
训练后偏差指标 描述 示例问题 解析指标值
预测标签中正比例的差异 (DPPL) 衡量有利分面 a 和不利分面 d 之间阳性预测值比例的差异。

在预测的阳性结果中，各人口统计群体之间是否存在可能表明偏差的不平衡？

标准化二进制和多类别分面标签的范围：[-1,+1]

连续标签的范围：(-∞, +∞)

解释：

  • 正值表示有利分面 a 的预测阳性结果的比例更高。

  • 接近零的值表示各分面的预测阳性结果比例较为均衡。

  • 负值表示不利分面 d 的预测阳性结果的比例更高。
差别影响 (DI) 测量有利分面 a 和不利分面 d 的预测标签比例之比。 在预测的阳性结果中，各人口统计群体之间是否存在可能表明偏差的不平衡？

标准化二进制、多类别分面和连续标签的范围：[0,∞)

解释：

  • 值小于 1 表示有利分面 a 的预测阳性结果的比例更高。

  • 值为 1 表示实现了人口统计均等。

  • 值大于 1 表示不利分面 d 的预测阳性结果的比例更高。
预测标签中的条件人口统计差异 (CDDPL) 从整体上衡量各分面的预测标签差异，同时也按子组进行衡量。 某些人口统计群体在贷款申请结果中被拒绝的比例是否高于其被接受的比例？

二进制、多类别和连续结果的 CDDPL 值范围：[-1, +1]

  • 正值表示分面 d 被拒绝次数多于被接受次数的结果。

  • 接近零的值表示平均而言没有人口统计差异。

  • 负值表示分面 a 被拒绝次数多于被接受次数的结果。
反事实翻转测试 (FT) 检查分面 d 的每个成员并评估分面 a 的相似成员是否具有不同的模型预测。 某一特定年龄段的人群是否与另一年龄段的人群在所有特征上都非常接近，但平均收入却更高？ 二进制和多类别分面标签的范围为 [-1, +1]。

  • 当不利分面 d 的不利反事实翻转测试决策数量超过有利决策的数量时，就会出现正值。

  • 当不利和有利反事实翻转测试决策的数量达到平衡时，就会出现接近零的值。

  • 当不利分面 d 的不利反事实翻转测试决策数量少于有利决策的数量时，就会出现负值。
准确率差异 (AD) 衡量有利和不利分面的预测准确率之间的差异。 该模型对所有人口统计群体应用的标签预测是否同样准确？ 二进制和多类别分面标签的范围为 [-1, +1]。

  • 正值表示分面 d 更容易受到假阳性（I 型错误）或假阴性（II 型错误）的某种组合的影响。这意味着存在不利于不利分面 d 的潜在偏差。

  • 当分面 a 的预测准确率与分面 d 的预测准确率相似时，就会出现接近零的值。

  • 负值表示分面 a 更容易受到假阳性（I 型错误）或假阴性（II 型错误）的某种组合的影响。这意味着存在不利于有利分面 a 的偏差。
查全率差异 (RD) 比较模型对有利和不利分面的查全率。 模型对某个年龄组的查全率高于另一年龄组，这是否会造成基于年龄的贷款偏差？

二进制和多类别分类的范围：[-1, +1]。

  • 正值表示该模型发现分面 a 的真阳性数量更多，存在不利于不利分面 d 的偏差。

  • 接近零的值表示该模型在两个分面发现的真阳性数量大致相同，没有偏差。

  • 负值表示该模型发现分面 d 的真阳性数量更多，存在不利于有利分面 a 的偏差。
有条件接受差异 (DCAcc) 将观测标签与模型预测的标签进行比较。评估各分面的预测阳性结果（接受）是否相同。 在将一个年龄组与另一个年龄组进行比较时，接受贷款的频率是高于还是低于预测值（基于资格条件）？

二进制、多类别分面和连续标签的范围：(-∞, +∞)。

  • 正值表示可能存在不利于不利分面 d 中合格申请人的偏差。

  • 接近零的值表示两个分面的合格申请人的接受情况相似。

  • 负值表示可能存在不利于有利分面 a 中合格申请人的偏差。
接受率差异 (DAR) 衡量有利和不利分面在观测的阳性结果 (TP) 与预测的阳性结果 (TP + FP) 之比方面的差异。 该模型在预测各年龄组合格申请人的贷款接受情况时是否具有同等精度？ 二进制、多类别分面和连续标签的范围为 [-1, +1]。

  • 正值表示由于不利分面 d 中出现相对较多的假阳性，因此可能存在不利于分面 d 的偏差。

  • 接近零的值表示该模型对两个分面的阳性结果（接受）的观测标签预测精度相同。

  • 负值表示由于有利分面 a 中出现相对较多的假阳性，因此可能存在不利于分面 a 的偏差。
特异性差异 (SD) 比较模型对有利和不利分面的特异性。 模型预测某个年龄组的特异性高于另一年龄组，这是否会造成基于年龄的贷款偏差？

二进制和多类别分类的范围：[-1, +1]。

  • 正值表示该模型发现分面 d 的假阳性数量更少，存在不利于不利分面 d 的偏差。

  • 接近零的值表示该模型在两个分面发现的假阳性数量相似，没有偏差。

  • 负值表示该模型发现分面 a 的假阳性数量更少，存在不利于有利分面 a 的偏差。
有条件拒绝差异 (DCR) 将观测标签与模型预测标签进行比较，并评估各分面的阴性结果（拒绝）是否相同。 一个年龄组与另一年龄组相比，基于资格条件预测的贷款申请被拒绝的次数是多还是少？ 二进制、多类别分面和连续标签的范围：(-∞, +∞)。

  • 正值表示可能存在不利于不利分面 d 中合格申请人的偏差。

  • 接近零的值表示两个分面的合格申请人的拒绝情况相似。

  • 负值表示可能存在不利于有利分面 a 中合格申请人的偏差。
拒绝率差异 (DRR) 衡量不利和有利分面在观测的阴性结果 (TN) 与预测的阴性结果 (TN + FN) 之比方面的差异。 该模型在预测各年龄组不合格申请人的贷款拒绝情况时是否具有同等精度？ 二进制、多类别分面和连续标签的范围为 [-1, +1]。

  • 正值表示由于有利分面 a 中出现相对较多的假阴性，因此可能会有偏差。

  • 接近零的值表示对两个分面的阴性结果（拒绝）的预测精度相同。

  • 负值表示由于不利分面 d 中出现相对较多的假阴性，因此可能会有偏差。
平等对待 (TE) 衡量有利和不利分面在假阳性与假阴性之比方面的差异。 在贷款申请中，所有年龄段人口的假阳性与假阴性的相对比率是否相同？ 二进制和多类别分面标签的范围：(-∞, +∞)。

  • 当分面 a 的假阳性与假阴性之比大于分面 d 的假阳性与假阴性之比时，就会出现正值。

  • 当分面 a 的假阳性与假阴性之比和分面 d 的假阳性与假阴性之比相似时，就会出现接近零的值。

  • 当分面 a 的假阳性与假阴性之比小于分面 d 的假阳性与假阴性之比时，就会出现负值。
广义熵 (GE) 衡量模型预测中分配给每项输入的权益 b 的不平等程度。 在贷款申请分类的两个候选模型中，一个模型是否比另一个模型导致预期结果的分布更不均衡？ 二进制和多类别标签的范围：(0, 0.5)。当模型仅预测假阴性时，GE 的定义不明确。

  • 当所有预测都正确或所有预测均为假阳性时，就会出现零值。

  • 正值表示权益不平等；0.5 对应于最大的不平等。

有关训练后偏差指标的更多信息，请参阅金融领域机器学习的公平性衡量标准系列。

主题