准确率差异 (AD) - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

准确率差异 (AD)

准确率差异 (AD) 指标是不同分面的预测准确率之间的差异。该指标确定模型对一个分面的分类是否比另一个分面更准确。AD 表示某一分面是否会产生更大比例的 I 型和 II 型错误。但它无法区分 I 型和 II 型错误。例如,模型对不同年龄人口的准确率可能相同,但对一个年龄组的错误可能主要是假阳性(I 型错误),而对另一年龄组的错误可能主要是假阴性(II 型错误)。

另外,如果对中年人口(分面 a)的贷款审批准确率远高于对另一年龄段人口(分面 d)的贷款审批准确率,那么要么第二组中更大比例的合格申请人被拒绝发放贷款 (FN),要么该组中更大比例的不合格申请人获得贷款 (FP),要么两者兼而有之。这可能会导致第二组的组内不公平,即使两个年龄组的贷款发放比例几乎相同,这表现为 DPPL 值接近于零。

AD 指标的计算公式为分面 a 的预测准确率 (ACCa) 减去分面 d 的预测准确率 (ACCd):

        AD = ACCa - ACCd

其中:

  • ACCa = (TPa + TNa)/(TPa + TNa + FPa + FNa)

    • TPa 是分面 a 的真阳性预测值

    • TNa 是分面 a 的真阴性预测值

    • FPa 是分面 a 的假阳性预测值

    • FNa 是分面 a 的假阴性预测值

  • ACCd = (TPd + TNd)/(TPd + TNd + FPd + FNd)

    • TPd 是分面 d 的真阳性预测值

    • TNd 是分面 d 的真阴性预测值

    • FPd 是分面 d 的假阳性预测值

    • FNd 是分面 d 的假阴性预测值

例如,假设一个模型向分面 a 的 100 名申请人中的 70 名批准发放贷款,而拒绝了另外 30 名申请人。10 名申请人不应该获得批准 (FPa),而 60 名申请人本应获得批准 (TPa)。被拒绝的申请人中有 20 人本应获得批准 (FNa),10 人被正确拒绝 (TNa)。分面 a 的准确率如下:

        ACCa = (60 + 10)/(60 + 10 + 20 + 10) = 0.7

接下来,假设一个模型向分面 d 的 100 名申请人中的 50 名批准发放贷款,而拒绝了另外 50 名申请人。10 名申请人不应该获得批准 (FPa),而 40 名申请人本应获得批准 (TPa)。被拒绝的申请人中有 40 人本应获得批准 (FNa),10 人被正确拒绝 (TNa)。分面 a 的准确率如下:

        ACCd= (40 + 10)/(40 + 10 + 40 + 10) = 0.5

因此,准确率差异为 AD = ACCa - ACCd = 0.7 - 0.5 = 0.2。这表明存在不利于分面 d 的偏差,因为该指标为正值。

二进制和多类别分面标签的 AD 值范围为 [-1, +1]。

  • 当分面 a 的预测准确率高于分面 d 的预测准确率时,就会出现正值。这意味着分面 d 更容易受到假阳性(I 型错误)或假阴性(II 型错误)的某种组合的影响。这意味着存在不利于不利分面 d 的潜在偏差。

  • 当分面 a 的预测准确率与分面 d 的预测准确率相似时,就会出现接近零的值。

  • 当分面 d 的预测准确率高于分面 a 的预测准确率时,就会出现负值。这意味着分面 a 更容易受到假阳性(I 型错误)或假阴性(II 型错误)的某种组合的影响。这意味着存在不利于有利分面 a 的偏差。