准确度差异 (AD) - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

准确度差异 (AD)

准确度差 (AD) 指标是不同方面的预测准确度之间的差异。此指标决定了模型的分类对于一个方面而言是否比另一个方面更准确。AD 表示一个方面是否引发了更大比例的 I 和 II 类错误。但是它不能区分 I 类和 II 类错误。例如,该模型对于不同年龄的人口统计数据可能具有相同的准确度,但是对于一个基于年龄的组而言,错误可能主要是误报(I 类错误),另一个基于年龄组的大部分错误(类型 II 错误)。

此外,如果贷款批准对于中年人口的准确性要高得多(方面)一个) 而不是另一个基于年龄的人口统计数据(面D),要么在第二组中,有更多的合格申请人被拒绝贷款(FN),要么该组的不合格申请人中有更大比例的不符合条件的申请人获得贷款(FP),或者两者兼而有。这可能会导致第二组内部的不公平,即使两个基于年龄的群体发放的贷款比例几乎相同,这表示为接近零的 DPPL 值。

AD 指标的公式是小平面预测准确度之间的差异一个ACCa,减去那个对于方面DACCd

        AD = ACCaACC-ACCd

其中:

  • ACCa= (TPa+ TNa)/(TPa+ TNa+ FPa+ FNa

    • TPa对于方面来说,真正的积极预测是什么?一个

    • TNa是预测的真正负面一个

    • FPa对于方面来说,预计会出现误报吗?一个

    • FNa是预计的错误的负面一个

  • ACCd= (TPd+ TNd)/(TPd+ TNd+ FPd+ FNd

    • TPd对于方面来说,真正的积极预测是什么?D

    • TNd是预测的真正负面D

    • FPd对于方面来说,预计会出现误报吗?D

    • FNd是预计的错误的负面D

例如,假设一个模型批准向 70 名申请人提供贷款来自方面一个的 100 个,拒绝了另外 30 个。10 个不应该获得贷款(FPa)和 60 个已获批准,应该是(TP)a)。20 个拒绝应该已经获得批准(FNa)和 10 被正确拒绝(TN)a)。分面的准确性一个如下所示:

        ACCa= (60 + 10)/(60 + 10 + 20 + 10) = 0.7

接下来,假设一个模型批准向 50 名申请人提供贷款来自方面D的 100 个,拒绝了另外 50 个。10 个不应该获得贷款(FPa)和 40 个被批准了应该是(TP)a)。40 个拒绝应该已经获得批准(FNa)和 10 被正确拒绝(TN)a)。分面的准确性一个确定如下所示:

        ACCd= (40 + 10)/(40 + 10 + 40 + 10) = 0.5

因此,准确度差异是 AD = ACCaACC-ACCd= 0.7-0.5 = 0.2。这表明存在着对方面的偏见D因为该指标是积极的。

二进制和多类别平面标签的 AD 值范围为 [-1, +1]。

  • 小平面的预测准确度时出现正值一个比方面还要大D. 这意味着那个方面D更多的是误报(I 类错误)或假底片(II 类错误)的组合。这意味着对不受欢迎的方面存在潜在的偏见D.

  • 小平面的预测准确度时,将出现接近零的值一个类似于 FacetD.

  • 小平面的预测准确度时,会出现负值D比方面还要大一个t. 这意味着那个方面一个更多的是误报(I 类错误)或假底片(II 类错误)的组合。这意味着对偏爱的方面存在偏见一个.