有条件拒绝差异 (DCR) - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

有条件拒绝差异 (DCR)

该指标将观测标签与模型预测标签进行比较,并评估各分面的阴性结果(拒绝)是否相同。该指标接近于模仿人类的偏差,因为它量化了与训练数据集中标签建议值(观测标签 y)相比,模型对某个分面赋予的阴性结果(预测标签 y')多了多少。例如,如果与包含其他年龄组的分面(分面 d)相比,观测的中年组(分面 a)贷款申请被拒绝(阴性结果)的次数多于模型基于资格条件预测的值,则可能表明在拒绝贷款的方式上存在潜在偏差,中年组比其他组更有利。

有条件接受差异的公式:

        DCR = rd - ra

其中:

  • rd = nd(0)/ n'd(0) 是分面 d 中值为 0 的观测阴性结果(拒绝)数与分面 d 的预测阴性结果(拒绝)数之比。

  • ra = na(0)/ n'a(0) 是分面 a 中值为 0 的观测阴性结果(拒绝)数与分面 a 的预测阴性结果(拒绝)数之比。

DCR 指标既能反映正偏差,也能反映负偏差,这些偏差揭示了基于资格条件的优先处理。请考虑以下在贷款拒绝方面存在基于年龄的偏差的示例。

示例 1:正偏差

假设我们的数据集有 100 名中年人(分面 a)和 50 名来自其他年龄组的人(分面 d)申请贷款,其中模型建议拒绝向分面 a 中的 60 人和分面 d 中的 30 人发放贷款。因此,根据 DPPL 指标,预测的比例无偏差,但观测标签显示,分面 a 中的 50 人和分面 d 中的 40 人被拒绝。换句话说,该模型拒绝向中年组分面发放贷款的人数比训练数据中建议的观测标签多 17% (50/60 = 0.83),拒绝向其他年龄组发放贷款的人数比建议的观测标签少 33% (40/30 = 1.33)。DCR 值量化了各分面之间在观测到的拒绝率与预测的拒绝率之比方面的这种差异。正值表示存在有利于中年组的潜在偏差,与其他组相比,拒绝率低于观测数据(视为无偏差)所指示的值。

        DCR = 40/30 - 50/60 = 1/2

示例 2:负偏差

假设我们的数据集有 100 名中年人(分面 a)和 50 名来自其他年龄组的人(分面 d)申请贷款,其中模型建议拒绝向分面 a 中的 60 人和分面 d 中的 30 人发放贷款。因此,根据 DPPL 指标,预测的比例无偏差,但观测标签显示,分面 a 中的 70 人和分面 d 中的 20 人被拒绝。换句话说,该模型拒绝向中年组分面发放贷款的人数比训练数据中建议的观测标签少 17% (70/60 = 1.17),拒绝向其他年龄组发放贷款的人数比建议的观测标签多 33% (20/30 = 0.67)。负值表示存在有利于分面 a 的潜在偏差,与中年组分面 d 相比,拒绝率低于观测数据(视为无偏差)所指示的值。

        DCR = 20/30 - 70/60 = -1/2

二进制、多类别分面和连续标签的有条件拒绝差异的值范围为 (-∞, +∞)。

  • 当分面 d 的观测拒绝次数与预测拒绝次数之比高于分面 a 的这一比率时,就会出现正值。这些值表示可能存在不利于分面 a 中合格申请人的偏差。DCR 指标值越大,表观偏差就越严重。

  • 当分面 a 的观测拒绝次数与预测拒绝次数之比类似于分面 d 的这一比率时,就会出现接近零的值。这些值表示预测的拒绝率与标签数据中的观测值一致,并且两个分面的合格申请人被拒绝的情况相似。

  • 当分面 d 的观测拒绝次数与预测拒绝次数之比低于分面 a 的这一比率时,就会出现负值。这些值表示可能存在不利于分面 d 中合格申请人的偏差。负 DCR 指标的幅度越大,表观偏差就越严重。