精度差异 (AD) - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

精度差异 (AD)

精度差 (AD) 度量是不同面的预测精度之间的差异。此度量确定按模型进行的分类是否比另一面更精确。AD 表示某个方面是否产生较大比例的类型 I 和 II 类错误。但它无法区分类型 I 和 II 类错误。例如,该模型对于不同年龄人口统计数据可能具有相同的精度,但对于一个基于年龄的组,误差可能主要是误报(I 型错误),而另一个基于年龄的群体则大多为误报(II 型错误)。

此外,如果贷款批准的准确性要高得多的中年人口(方面a)而不是另一个基于年龄的人口(方面D),或者第二组合格申请人中有较大比例被拒绝获得贷款(FN),或者有较大比例的不合格申请人获得贷款(FP)或两者兼有。这可能导致集团内部对第二组的不公平现象,即使按年龄划分的贷款比例几乎相同,由 DPPL 值接近零表示。

AD 度量的公式是多面预测精度之间的差异a, ACCa,减去对于方面D, ACCd

        广告 = 累积a-ACCd

其中:

  • ACCa=(TPa+ TNNa)/(TPa+ TNNa+ FPa+ FNa

    • TPa是预测的切面真正的积极因素a

    • TNa是预测面的真正负面a

    • FPa是预测面的误报a

    • FNa是预测方面的虚假负面a

  • ACCd=(TPd+ TNNd)/(TPd+ TNNd+ FPd+ FNd

    • TPd是预测的切面真正的积极因素D

    • TNd是预测面的真正负面D

    • FPd是预测面的误报D

    • FNd是预测方面的虚假负面D

例如,假设一个模型批准向 70 名申请人提供贷款a100 和拒绝其他 30。10 不应该提供贷款(FPa)和 60 被批准,应该已经(TPa)。20 个拒绝应该已获得批准(FNa)和 10 个被正确拒绝(TNa)。分面的精度a如下所示:

        ACCa=(60 + 10)/(60 + 10 + 20 + 10)= 0.7

接下来,假设一个模型批准从面向 50 申请人的贷款D100 和拒绝其他 50。10 不应该提供贷款(FPa)和 40 被批准,应该已经(TPa)。40 的拒绝应该已获得批准(FNa)和 10 个被正确拒绝(TNa)。分面的精度a如下所示确定:

        ACCd=(40 + 10)/(40 + 10)= 0.5

因此,精度差异是 AD = ACCa-ACCd= 0.7-0.5 = 0.2。这表明存在对面偏差D,因为该指标是正数。

二进制和多重面标签的 AD 值范围为 [-1, +1]。

  • 当小平面的预测精度时,会出现正值a大于面D. 这意味着D更受误报(I 型错误)或假负面(类型 II 错误)的某些组合影响。这意味着有一个潜在的偏见对不利的方面D.

  • 当小平面的预测精度时,会出现接近零的值a类似于面D.

  • 当小平面的预测精度时,会出现负值D大于面at. 这意味着a更受误报(I 型错误)或假负面(类型 II 错误)的某些组合影响。这意味着是对偏好的方面的偏见a.