拒绝率的差异 (DRR) - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

拒绝率的差异 (DRR)

拒绝率 (DRR) 指标的差异是小面 a 和 d 的真阴性 (TN) 预测与观测到的阴性 (TN + FN) 的比率的差异。该指标衡量了预测来自这两个方面的拒绝的模型精度的差异。精确度用于衡量模型确定的不合格候选人库中不合格候选人的比例。如果预测不合格申请人的模型精度在各个方面之间存在差异,则这是一种偏差,其幅度由 DRR 来衡量。

分面 a 和 d 之间拒绝率差异的公式:

        DRR = TNd/(TN d + FNd)-TNa/(TN a + FNa)

先前 DRR 方程的组成部分如下所示。

  • TN d 是 facet d 中预测的真正负面因素。

  • FN d 是预测的 facet d 的假阴性。

  • TP a 是 facet a 预测的真正负面因素。

  • FN a 是预测的面a的假阴性。

例如,假设该模型拒绝了 100 名中年申请贷款(facet a)的贷款申请人(预测为负面标签),其中 80 人实际上是不合格的(观察到的负面标签)。还假设该模型拒绝了来自其他年龄人群(facet d)的50名贷款申请人(预测为负面标签),其中实际上只有40人不合格(观察到的负面标签)。然后 DRR = 40/50-80/100 = 0,因此没有出现偏差。

二进制、多类别刻面和连续标签的 DRR 值范围为 [-1, +1]。

  • 当 facet d 的预测阴性(拒绝)与观测到的负面结果(不合格申请人)的比率大于分面 a 的相同比率时,就会出现正值。这些值表明,由于面a中出现的假阴性相对较多,可能会对受青睐的方面 a 产生偏见。比率的差异越大,表观偏差就越极端。

  • 当面 ad 的预测阴性(拒绝)与观测到的负面结果(不合格申请者)的比率具有相似值时,就会出现接近零的值,这表明模型对负面结果的观测标签的预测精度相同。

  • 当面 a 的预测阴性(拒绝)与观察到的负面结果(不合格申请人)的比率大于分面 d 的比率时,就会出现负值。这些值表明,由于分面 d 中出现的误报相对较多,因此可能对不受欢迎的 facet d 存在偏见。比率的差异越为负,表观偏差就越极端。