测量训练后数据和模型偏差 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

测量训练后数据和模型偏差

Amazon SageMaker 澄清提供了十一个培训后数据和模型偏差指标,以帮助量化各种公平概念。这些概念不能同时满足, 选择取决于所分析的潜在偏见案例的具体情况. 这些指标中的大多数是来自不同人口群体的二进制分类混淆矩阵的数字的组合。由于公平性和偏见可以通过广泛的指标来定义,因此需要人为判断才能理解和选择哪些指标与个人使用案例相关,客户应与相应的利益相关方协商,以确定其应用程序的适当公平衡量标准。

我们使用以下符号来讨论偏差指标。此处描述的概念模型用于二进制分类,其中事件被标记为在其样本空间中只有两个可能的结果,称为正值(值 1)和负值(值为 0)。这一框架通常可以直接地扩展到多种类型的分类,或在需要时扩展到涉及持续有价值结果的情况。在二进制分类案例中,会将正标签和负标签分配给原始数据集中记录的结果,以获得偏好的面a和一个不喜欢的方面D. 这些标签 y 称为观察到的标签来区分它们与预测的标签y”,它们是由机器学习模型在 ML 生命周期的训练或推理阶段分配的。这些标签用于定义概率分布 Pa(y) 和 Pd(y) 各自的方面成果.

  • Labar:

    • y 表示训练数据集中观察到的 n 个事件结果标签。

    • y' 表示经过训练的模型在数据集中观察到的 n 个标注的预测标注。

  • 结果:

    • 样本的正面结果(值为 1),例如应用程序验收。

      • n(1)是观察到的积极结果(接受)标签的数量。

      • n'(1)是正面结果(接受)的预测标签的数量。

    • 样本的负面结果(值为 0),例如应用程序拒绝。

      • n(0)是观察到的负面结果(拒绝)标签的数量。

      • n'(0)是负面结果(拒绝)的预测标签的数量。

  • 分面值:

    • 分面a— 定义偏差偏好的人口统计的要素值。

      • na是受欢迎的小平面值观察到的标签数量:na= na(1)+na(0)观测到的值小面的正负标签的总和a.

      • n'a是偏好的小平面值的预测标签数量:n'an'a(1)+n'a(0)面值的正负预测结果标签的总和a. 请注意 n'an= na.

    • 分面D— 定义偏倚人口的要素值。

      • nd是不受欢迎的小平面值观察到的标签数量:ndn= nd(1)+nd(0)观察到的小平面值的正负标签的总和D.

      • n'd是不受欢迎的小平面值的预测标注数量:n'dn'd(1)+n'd(0)小平面值的正负预测标签的总和D. 请注意 n'dn= nd.

  • 标记小平面数据结果结果的概率分布:

    • Pa(y) 是观测到的小平面标签的概率分布a. 对于二进制标记数据,此分布由多面样本数量的比率给出a标记与积极结果的总数,Pa(y1) = na(1)/na,以及带负结果样本数量与总数之比,Pa(y0) = na(0)/na.

    • Pd(y) 是观测到的小平面标签的概率分布D. 对于二进制标记数据,此分布由多面中的样本数量给出D标记与积极结果的总数,Pd(y1) = nd(1)/nd,以及带负结果样本数量与总数之比,Pd(y0) = nd(0)/nd.

下表包含用于快速指导的作弊表以及训练后偏差指标的链接。

训练后偏差
训练后偏差 描述 示例问题 解释指标值
预测标签中正比率的差异 (DPL) 测量偏好方面之间正面预测比例的差异a和不偏不倚的方面D.

预测的积极结果是否存在不同人口群体之间的不平衡,这可能表明偏见?

标准化二进制和多重面标签的范围:[-1,+1]

连续标注的范围:(-∞, +∞)

解释:

  • 正值表示偏好的小平面a具有较高的预测积极结果。

  • 接近零的值表示小平面之间预测的积极结果的比例更高。

  • 负值表示不偏爱的小平面D具有较高的预测积极结果。

截然不同的影响 (DI) 测量偏好的小平面预测标注的比例比率a和不偏不倚的方面D. 预测的积极结果是否存在不同人口群体之间的不平衡,这可能表明偏见?

标准化二进制、多重面和连续标签的范围:[0, ∞)

解释:

  • 此值设置为大于 1 表示偏好的分面a具有较高的预测积极结果。

  • 值为 1 表示我们具有人口统计均等。

  • 小于 1 的值表示不偏好的小平面D具有较高的预测积极结果。

条件验收的差异 (DCACc) 将观测到的标签与模型预测的标签进行比较,并评估预测的正面结果(接受率)在各个面上是否相同。 对贷款申请的接受程度是否多于一个年龄组的预测,而另一个年龄组是否接受贷款申请?

二进制、多重面和连续标签的范围:(-∞, +∞)。

  • 正值表明可能对合格申请人从不利的方面存在偏见D.

  • 接近零的值表示两个方面的合格申请人都以类似的方式被接受。

  • 负值表明可能对合格申请人从偏好的方面存在偏见a.

条件拒绝 (DCR) 的差异 将观察到的标签与模型预测的标签进行比较,并评估负面结果(拒绝)的跨面是否相同。 贷款申请被拒绝的人数是否多于一个年龄组,而另一个年龄组的人数是否多或少? 二进制、多重面和连续标签的范围:(-∞, +∞)。
  • 正值表明可能对合格申请人从不利的方面存在偏见D.

  • 接近零的值表示两个方面的合格申请人都以类似的方式被拒绝。

  • 负值表明可能对合格申请人从偏好的方面存在偏见a.

召回差异 (RD) 比较模型的召回为偏好和不受欢迎的方面。 由于一个年龄组的召回率高于另一个年龄组,在贷款方面是否存在基于年龄的偏见?

二进制和多种类分类的范围:[-1,+1]。

  • 正值表明,模型可以找到更多的切面真正的阳性a并且对不利的方面有偏见D.

  • 接近零的值表明模型在两个小面上发现大约相同数量的真正正值,并且不存在偏差。

  • 负值表明,模型发现更多的切面真正的阳性D并且偏向于偏好的方面a.

验收率差异 (DAR) 测量观察到的积极结果 (TP) 与预测阳性 (TP + FP) 之间的差异。 在预测所有年龄组合资格申请人的贷款接受情况时,模型是否具有相同的精确度? 二进制、多重面和连续标签的范围为 [-1, +1]。
  • 正值表示可能偏向小平面D由于在不利的方面相对较多的误报的发生引起D.

  • 接近零的值表示正结果(接受度)的观测标签正由模型以相同的精度预测。

  • 负值表示可能对小平面存在偏差a由于在偏好的方面相对较多的误报发生引起a.

拒绝率的差异 (DRR) 测量观察到的负面结果 (TN) 与预测负面 (TN + FN) 之间的差异。 在预测所有年龄组不合格申请人的贷款拒绝时,模型是否具有相同的精确度? 二进制、多重面和连续标签的范围为 [-1, +1]。
  • 正值表示在偏好的方面出现相对较多的虚假负面可能引起的偏差a.

  • 接近零的值表示模型正以相同的精度预测负结果(拒绝)的观测标签。

  • 负值表示相对较多的虚假负面出现可能造成的偏差D.

精度差异 (AD) 测量偏好和不偏好的小面的预测精度之间的差异。 模型是否能够准确地预测所有人口群体中的应用程序的标签? 二进制和多重面标签的范围为 [-1, +1]。
  • 正值表示小平面D更受误报(I 型错误)或假负面(类型 II 错误)的某些组合影响。这意味着有一个潜在的偏见对不利的方面D.

  • 当小平面的预测精度时,会出现接近零的值a类似于面D.

  • 负值表示该面a更受误报(I 型错误)或假负面(类型 II 错误)的某些组合影响。这意味着是对偏好的方面的偏见a.

待遇平等 (TE) 测量偏好和不受欢迎的方面之间误报与误负的比率的差异。 在贷款申请中,假阳性与假负面的相对比率在所有年龄人口统计数据中是否相同? 二进制和多重面标签的范围:(-∞, +∞)。
  • 当假阳性与假负面的比率时,会出现正值a大于面D.

  • 值接近零时出现假阳性与假负值的比率a类似于面D.

  • 当假阳性与假负面的比率时,会出现负值a小于面D.

预测标签中的条件人口差异 (CDDPL) 测量整体小平面之间预测标注的差异,以及按子组进行的差异。 某些人口群体拒绝贷款申请结果的比例是否高于接受贷款的比例?

二进制结果、多种结果和连续结果的 CDDPL 值范围:[-1,+1]

  • 正值表示结果,其中小面D被拒绝超过接受范围。

  • 接近零表示平均没有人口统计差异。

  • 负值表示一个结果,其中面a被拒绝超过接受范围。

反事实翻转 (FT) 检查切面的每个成员D并评估是否类似的面成员a具有不同的模型预测。 一组特定年龄人口群体是否与另一个年龄组紧密匹配,平均支付高于其他年龄组?” 二进制和多重面标签的范围为 [-1, +1]。
  • 正值发生时,不利的反事实反反反反倾向的决定的数量D超过了有利的。

  • 当不利和有利的反事实反反反事实检验决策的数量平衡时,会出现接近零的值。

  • 负值发生时,不利的反事实反反反反反倾向的决定的数量D小于有利的。

有关训练后偏差指标的其他信息,请参阅金融 Machine Learning 的一系列公平措施.