测量训练后数据和模型偏差 - Amazon SageMaker
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

测量训练后数据和模型偏差

Amazon SageMaker Clarify 提供了 11 个训练后数据和模型偏差指标,以帮助量化各种公平概念。不能同时满足这些概念,其选择取决于涉及被分析潜在偏差的案例的具体细节。其中大多数指标是不同人口统计组的二进制分类混淆矩阵中获取的数字的组合。由于公平性和偏差可以由各种指标定义,因此需要人工判断来了解和选择哪些指标与单个使用案例相关,客户应咨询适当的利益相关者以确定适当的应用程序公平措施。

我们使用以下表示法讨论偏差指标。此处描述的概念模型用于二进制分类,其中,事件标记为在其样本空间中仅具有两个可能的结果,称为正(值为 1)和负(值为 0)。此框架通常能够以简单的方式扩展到多类别分类,或在需要时扩展到涉及连续值结果的情况。在二进制分类案例中,将为原始数据集中针对首选分面 a 和针对解析分面 d 记录的结果分配正标签和负标签。这些标签 y 称为观察到的标签,以便与机器学习模型在 ML 生命周期的训练或推理阶段分配的预测标签 y' 相区分。这些标签用于定义概率分布 Pa(y) 和 Pd(y) 表示其各自的分面结果。

  • 标签:

    • y 表示训练数据集中事件结果的 n 个观察到的标签。

    • y' 表示训练模型在数据集中观察到的 n 个标签的预测标签。

  • 结果:

    • 示例的正结果(值为 1),例如应用程序接受。

      • n(1) 是观察到的正结果(接受)的标签数。

      • n'(1) 是正向结果(接受)的预测标签数。

    • 示例的负结果(值为 0),例如应用程序拒绝。

      • n(0) 是观察到的负结果(拒绝)的标签数。

      • n'(0) 是负向结果(拒绝)的预测标签数。

  • 分面值:

    • 分面 a – 定义偏差所倾向于的人口统计特征值。

      • na 是针对首选分面值观察到的标签数:na n=a(1) + na(0) 对于值分面 a,观察到的正标签和负标签的总和。

      • n'a 是首选分面值的预测标签数:n'a = n'a(1) + n'a(0) 分面值 a 的正向和负正向预测结果标签的总和。请注意,n'a n=a.

    • 分面 d – 定义偏移分类器的人口统计特征值。

      • nd 是对于disfarod 分面值观察到的标签数:nd n=d(1) + nd(0) 分面值 d 的观察到的正标签和负标签之和。

      • n'd 是 Disfarod 分面值的预测标签数:n'd = n'd(1) + n'd(0) 分面值 d 的正向和负向预测标签的总和。请注意,n'd n=d.

  • 标记的分面数据结果结果的概率分布:

    • Pa(y) 是观察到的分面 a 的标签的概率分布。对于二进制标记数据,此分布是按分面 标记为正结果) 中样本数与总数的比率得出的。ay1) = na(1)/na,以及具有负结果的样本数与总数的比率,Pay0) = na(0)/na.

    • Pd(y) 是观察到的分面 d 标签的概率分布。对于二进制标记数据,此分布是通过分面 d 中标记为阳性结果的样本数得出总数 Pdy1) = nd(1)/nd,以及具有负结果的样本数与总数的比率,Pdy0) = nd(0)/nd.

下表包含一个备忘单,用于快速指导以及指向训练后偏差指标的链接。

训练后偏差指标
训练后偏差指标 描述 示例问题 解释指标值
预测标签 (DPPL) 中的正比例的差异 测量首选分面 a 和常用分面 d 之间的正向预测比例的差异。

预测的正向结果中是否存在可能表示偏差的跨人口统计组的不平衡?

标准化二进制和多类别分面标签的范围:[-1,+1]

连续标签的范围∞:(-, ∞+)

解释:

  • 正值表示首选分面 a 具有较高比例的预测正结果。

  • 接近零的值表示分面之间的预测正向结果的比例更相等。

  • 负值表明,分类分面 d 具有较高比例的预测正向结果。

离散影响 (DI) 测量首选分面 a 和失败分面 d 的预测标签的比例比率。 预测的正向结果中是否存在可能表示偏差的跨人口统计组的不平衡?

标准化二进制、多类别分面和连续标签的范围:[0,∞)

解释:

  • 值大于 1 表示首选分面 a 具有较高比例的预测正向结果。

  • 值为 1 表示我们具有人口统计奇偶校验。

  • 小于 1 的值表示disfarated 分面 d 具有较高比例的预测正向结果。

有条件接受 (DCAcc) 的差异 将观察到的标签与模型预测的标签进行比较,并评估对于预测的正向结果(接受度),该标签是否跨多个分面相同。 与基于资格预测的一个期限组相比,对借记应用程序的接受度是否更高或更低?

二进制、多类别分面和连续标签的范围:(-∞、+∞)。

  • 正值表示可能会针对来自断开连接分面 d 的合格申请人的偏差。

  • 值接近零表示接受来自两个分面的合格申请方的方式类似。

  • 负值表示可能相对于首选分面 a 中的合格申请方的偏差。

有条件拒绝 (DCR) 中的区别 将观察到的标签与模型预测的标签进行比较,并评估在负结果(拒绝)的分面之间是否相同。 与根据资格预测的一个期限组相比,对一个期限组的拒绝数是否更多或更少? 二进制、多类别分面和连续标签的范围:(-∞、+∞)。
  • 正值表示可能会针对来自失败分面 d 的合格申请方的偏差。

  • 接近零的值表示来自两个分面的合格申请者将以类似方式被拒绝。

  • 负值表示可能相对于首选分面 a 中的合格申请方的偏差。

查全率差异 (RD) 比较首选和失败分面的模型的查全率。 由于一个期限组的召回率高于另一个期限组,因此在借出中是否存在基于期限的偏差?

二进制和多类别分类的范围:[-1, +1]。

  • 正值表明模型找到了分面 a 的更多真阳性,并且针对偏离的分面 d 进行了偏差。

  • 接近零的值表示模型在两个分面中找到大约相同数量的真阳性,并且没有偏差。

  • 负值表明模型找到了分面 d 的更多真阳性,并且针对倾向于的分面 a 进行了偏差。

接受率 (DAR) 差异 测量观察到的正结果 (TP) 与被偏斜分面 (TP + FP) 之间的预测正数 (TP + FP) 的比率之差。 在预测所有期限组中的合格申请方的接受度时,模型是否具有相同的精度? 二进制、多类别分面和连续标签的范围是 [-1, +1]。
  • 正值表示,在非重复分面 d 中,出现相对更多的误报可能会导致对分面 d 的偏差。

  • 接近零的值表示模型对两个分面的正向结果(接受度)观察到的标签进行预测时都具有相同的精度。

  • 负值表示因首选分面 a 中出现相对更多的误报而导致的针对分面的可能偏差。

拒绝率 (DRR) 差异 测量观察到的负结果 (TN) 与异常和首选分面之间预测负值 (TN + FN) 的比率之差。 在跨所有期限组预测非限定的申请方的拒绝时,模型是否具有相同的精度? 二进制、多类别分面和连续标签的范围是 [-1, +1]。
  • 正值表示由首选分面 a 中出现相对更多的假阴性而导致的可能的偏差。

  • 接近零的值表示模型对两个分面的负结果(拒绝)的观察到的标签进行预测,精度相同。

  • 负值表示因分类分面 d 中出现相对更多的假阴性而可能发生的偏差。

准确度差异 (AD) 测量首选分面和不常用分面的预测准确度之间的差异。 该模型是否跨所有人口统计组预测应用程序的标签尽可能准确? 二进制和多类别分面标签的范围为 [-1, +1]。
  • 正值表示分面 d 更容易遇到误报 (类型 I 错误) 或假阴性 (类型 II 错误) 的某种组合。这意味着,对偏离的分面 d 存在潜在的偏差。

  • 当分面 a 的预测准确度与分面 d 的预测准确度相似时,将出现接近零的值。

  • 负值表示分面 a 会因误报 (类型 I 错误) 或假阴性 (类型 II 错误) 的某种组合而受到影响。这意味着 是针对首选分面 a 的偏差。

处理相等 (TE) 测量被支持的分面和遭反对的分面之间的假阳性与假阴性的比率差异。 在 借项应用程序中,假阳性与所有年龄人口统计的假阴性的比率是否相同? 二进制和多类别分面标签的范围∞:(-, ∞+)。
  • 当分面 a 的假阳性与假阴性的比率大于分面 d 的比率时,会出现正值。

  • 当分面 a 的假阳性与假阴性的比率与分面 d 的相似时,将出现接近零的值。

  • 当分面 a 的假阳性与假阴性的比率小于分面 d 的比率时,会出现负值。

预测标签中的有条件人口统计不一致 (CDDPL) 整体测量不同分面之间的预测标签的差异,还按子组进行测量。 与接受比例相比,某些人口统计组对于出借应用程序结果的拒绝比例是否更高?

二进制、多类别和连续结果的 CDDPL 值范围:[-1, +1]

  • 正值表示拒绝分面 d 的结果超过了接受的值。

  • 接近零表示平均没有人口统计差异。

  • 负值表示拒绝分面 大于接受次数的结果。

反事实 Fliptest (FT) 检查分面 d 的每个成员,并评估分面 a 的类似成员是否具有不同的模型预测。 是否有一组特定的年龄人口统计,这些人口统计资料与另一个年龄组匹配得密切配合,平均支付得比其他年龄组多?” 二进制和多类别分面标签的范围为 [-1, +1]。
  • 当disfarated 分面 d 的不良反事实翻转测试决策数超出倾向于的分面时,会出现正值。

  • 当反事实和反事实决策数平衡时,将出现接近零的值。

  • 当disfarated 分面 d 的不良反事实翻转测试决策数小于倾向于的分面 d 时,会出现负值。

有关训练后偏差指标的其他信息,请参阅用于财务中的Machine Learning的一系列公平措施。