有条件拒绝 (DCR) 中的区别 - Amazon SageMaker
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

有条件拒绝 (DCR) 中的区别

此指标将观察到的标签与模型预测的标签进行比较,并评估对于负面结果(拒绝),这是否在分面上是相同的。此指标与模拟人工偏差非常接近,因为它量化模型向特定分面授予(预测标签 y')的负结果数与训练数据集中标签建议的结果相比(观察到的标签 y)更多。例如,与包含其他期限组的分面(分面 d)相比,如果中年组(分面 a)的 借项应用程序拒绝次数多于模型根据资格预测的拒绝次数(分面 d),则这可能表明拒绝出借的方式存在潜在的偏差。

条件接受差异的公式:

        ALP = rd -ra

其中:

  • rd n=d (0/ n')d (0) 是观察到的分面 d 的值 1(拒绝)的负结果数与分面 d 的负结果(拒绝)的预测数量的比率。

  • ra n=a (0/ n')a (0) 是观察到的分面 a 值 0(拒绝)的负结果数与分面 a 的值 0(拒绝)的预测负结果数的比率。

PDF 指标可以捕获基于资格显示优先处理的正偏差和负偏差。请考虑以下基于期限的拒绝偏差实例。

示例 1:正偏差

假设我们具有 100 个中间年龄人员(分面 a)和 50 个来自其他期限组(分面 d)的数据集申请了转录,其中模型建议拒绝 60 个来自分面 a 的和 30 个来自分面 d 的对话以获得转录。因此,预测的比例由 DPPL 指标取消偏移,但观察到的标签显示已拒绝分面 a 中的 50 个和分面 d 中的 40 个。换句话说,模型拒绝的转录次数比建议的训练数据中的观察到的标签少 17 次 (50/60 = 0.83),比建议的标签 (40/30 = 1.33) 超过其他期限组拒绝的转录次数多 33%。PDF 值的计算量化了 -17% 和 +33% 之间的此差异。

        DCR = 40/30 - 50/60 = 1/2

示例 2:负偏差

假设我们拥有 100 个中间年龄人(分面 a)和 50 个来自其他期限组(分面 d)申请了转录的数据集,其中模型建议拒绝 60 个来自分面 a 的和 30 个来自分面 d 的对话以获得转录。因此,预测的比例由 DPPL 指标取消偏移,但观察到的标签显示已拒绝来自分面 a 的 70 和 分面 d 的 20。换句话说,模型拒绝的借方数量比建议的训练数据中观察到的标签多 17 次(70/60 = 1.17),比建议的标签数量少 33%(其他期限组的数量比建议的标签数 (20/30 = 0.67))。PDF 值的计算量化了介于 17 和 33% 之间的此差异。

        DCR = 20/30 - 70/60 = -1/2

二进制、多类别分面和连续标签的条件拒绝差异值范围为 (∞-, ∞+)。

  • 当观察到的拒绝数与分面 d 的预测拒绝数的比率大于分面 a 的该比率时,会出现正值。这些值表示针对来自分面 d 的合格申请方的可能偏差。ALP 指标的值越大,明显的偏差就越极端。

  • 当观察到的拒绝数与分面 a 的预测接受数的比率与分面 d 的比率相似时,将发生接近零的值。这些值表明预测拒绝率与在标记数据中观察到的值一致,并且来自两个分面的合格申请者也以类似的方式被拒绝。

  • 当观察到的拒绝次数与分面 d 的预测拒绝的比率小于该分面 a 的比率时,会出现负值。这些值表示针对分面 a 中的合格申请人的可能偏差。负 DVD 指标的幅度越大,明显的偏差越极端。