召回差异 (RD) - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

召回差异 (RD)

召回差异 (RD) 度量是指偏好的小面之间模型召回的差异a和不偏差D. 这些召回中的任何差异都是一种潜在的偏见形式。召回是真正的积极率 (TPR),用于衡量模型正确预测应获得积极结果的情况的频率。如果所有 y=1 的情况都正确地预测为该方面的 y'=1,则召回对于一个方面来说是完美的。当模型最大限度地减少称为 II 类误差的假负值时,召回会更大。例如,有多少人在两个不同的组(方面aD)应该有资格获得贷款的模型是否正确检测? 如果召回率是贷款方面高a, 但低贷款方面D,差异提供了对属于小面组的偏差的度量D.

方面召回率差异的公式aD

        第三个 = TPa/(TPa+ FNa)-TPd/(TPd+ FNd) = TPRa-TPRd

其中:

  • TPa是预测的切面真正的积极因素a.

  • FNa是预测方面的虚假负面a.

  • TPd是预测的切面真正的积极因素D.

  • FNd是预测方面的虚假负面D.

  • TPRa= TPa/(TPa+ FNa)是方面的召回a. 或其真正的积极率.

  • TPRdTPd/(TPd+ FNd)是方面的召回D. 或其真正的积极率.

例如,考虑以下分面的混淆矩阵aD.

偏好面 a 的混淆矩阵
A 类预测 Actual 结果 0 Actual 结果 总计
0 20 5 25
1 10 65 75
总计 30 70 100
不利面 d 的混淆矩阵
d 类预测 Actual 实际成果 总计
0 18 7 25
1 5 20 25
总计 23 27 50

召回差异的值是 RD = 65/70-20/27 = 0.93-0.74 = 0.19,这表明对面的偏差D.

小面之间召回差值的范围aD对于二进制和多分类分类是 [-1, +1]。此指标不适用于连续标签的情况。

  • 当小平面的召回率较高时,获得正值a而不是分面D. 这表明,该模型发现更多的切面真正的积极a而不是分面D,这是一种偏见的形式。

  • 接近零的值表示正在比较的小平面的召回是相似的。这表明该模型在这两个小面上都发现了大约相同数量的真正阳性,并且不存在偏差。

  • 当小平面的召回较高时获得负值D而不是分面a. 这表明,该模型发现更多的切面真正的积极D而不是分面a,这是一种偏见的形式。