有条件接受 (DCAcc) 的差异 - Amazon SageMaker
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

有条件接受 (DCAcc) 的差异

此指标将观察到的标签与模型预测的标签进行比较,并评估对于预测的正向结果,这是否在多个分面上是相同的。此指标几乎可以模拟人工偏差,因为它量化与在训练数据集 (标签 y) 中观察到的结果相比,模型为特定分面预测的更积极结果 (标签 y') 的数量。例如,如果与包含其他期限组的分面(分面 d)相比,中年组(分面 a)的借记应用程序相比,基于资格的模型预测结果更多的接受(分面 d),则这可能表明批准借支的方式存在潜在的偏差。

条件接受差异的公式:

        DCAcc = ca -cd

其中:

  • ca n=a (1)/ n'a(1) 是观察到的分面 a 的值 1(接受)的正结果数与分面 a 的预测正结果(接受)数的比率。

  • cd n=d (1)/ n'd(1) 是观察到的分面 d 的值 1(接受)的正结果数与分面 d 的预测正向结果(接受)的预测数量的比率。

DCAcc 指标可以捕获基于资格显示优先处理的正偏差和负偏差。请考虑以下基于期限的放宽偏差实例。

示例 1:正偏差

假设我们拥有 100 个中间年龄人(分面 a)和 50 个来自其他期限组(分面 d)申请了转录的数据集,其中模型建议从分面 a 提供 60 个,从分面 d 获得 30 个。因此,对于 DPPL 指标,预测的比例是无偏差的,但观察到的标签显示已为分面 a 中的 70 个和分面 d 中的 20 个授予了信用。换句话说,模型向 提供的实例中年分面比建议的训练数据中观察到的标签多 18% (70/60 = 1.17),并向其他期限组分配的转录量比建议的标签 (20/30 = 0.67) 少 33%。DCAcc 值的计算量化了 +17% 和 -33% 之间的此差异。DCAcc 值的计算给出以下内容:

        DCAcc = 70/60 - 20/30 = 1/2

示例 2:负偏差

假设我们拥有 100 个中间年龄人员(分面 a)和 50 个来自其他期限组(分面 d)的申请了转录的数据集,其中模型建议了 60 个来自分面 a,30 个来自分面 d 并获得转录。因此,对于 DPPL 指标,预测的比例是无偏差的,但观察到的标签显示已为分面 a 中的 50 个和分面 d 中的 40 个授予了借项。换句话说,模型允许的转录数量比建议的训练数据中的观察到的标签 (5/60 = 0.83) 少 17 次,比建议的标签 (40/30 = 1.33) 多 33% 次,并且从其他期限组允许的转录数量比建议的标签 (40/30 = 1.33) 多 33% 次。DCAcc 值的计算量化了介于 -17% 和 +33% 之间的此差异。DCAcc 值的计算给出以下内容:

        DCAcc = 50/60 - 40/30 = -1/2

请注意,您可以使用 DCAcc 帮助您检测在人与人循环设置中监管模型预测的人员的潜在(无意图)偏差。例如,假设模型的预测 y 是无偏差的,但最终决策是由可更改模型预测以生成 y' 的新版本和最终版本的人员(可能具有对其他特征的访问权限)做出的。人的额外处理可能会无意中拒绝从一个分面向不成比例的数字提供转录。DCAcc 可以帮助检测此类潜在偏差。

二进制、多类别分面和连续标签的条件接受差异值范围为 (∞-, ∞+)。

  • 当观察到的接受数与分面 a 的预测接受数的比率高于分面 d 的相同比率时,会出现正值。这些值表示可能会有针对分面 d 中的合格申请者的偏差。比率的差异越大,明显的偏移越极端。

  • 当观察到的接受数与分面 a 的预测接受数的比率与分面 d 的比率相似时,将发生接近零的值。这些值表示预测的接受率与在标记数据中观察到的值一致,并且来自两个分面的合格申请者以相似的方式被接受。

  • 当观察到的接受数与分面 a 的预测接受数的比率小于分面 d 的比率时,会出现负值。这些值表示针对分面 a 中的合格申请人的可能偏差。比率差异越负,明显偏移越极端。