验收率差异 (DAR) - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

验收率差异 (DAR)

验收率 (DAR) 度量的差异是实际正 (TP) 预测值与观测阳性值 (TP + FP) 之间的差异aD. 此度量衡量模型精度的差异,用于预测这两个方面的接受度。精确度度量模型确定的合格候选人库中合格候选人的比例。如果用于预测合格申请人的模型精度在各面之间发生偏差,则这是一种偏差,其幅度由 DAR 测量。

各面之间接受率差异的公式aD

        DAR = TPa/(TPa+ FPa)-TPd/(TPd+ FPd

其中:

  • TPa是预测的切面真正的积极因素a.

  • FPa是预测面的误报a.

  • TPd是预测的切面真正的积极因素D.

  • FPd是预测面的误报D.

例如,假设模型接受 70 名中年申请人(a)用于贷款(预计正面标签),其中只有 35 人被实际接受(观察到正面标签)。另外假设该模型接受来自其他年龄人口统计的 100 申请人(方面D)用于贷款(预计正面标签),其中只有 40 人被实际接受(观察到正面标签)。然后 DAR = 35/70-40/100 = 0.10,这表明对第二年龄组合格人士的潜在偏见(D)。

二进制、多面和连续标注的 DAR 值范围为 [-1, +1]。

  • 当预测阳性(接受率)与观察到的积极结果(合格申请人)的比率时,会出现正值a大于小平面的相同比例D. 这些值表示可能对不偏向的面存在偏差D由于相对较多的误报发生而引起的切面D. 比率的差异越大,明显的偏差就越极端。

  • 当预测阳性(接受率)与观察到的积极结果(合格申请人)的比率时,会出现接近零的值aD具有相似的值,表示模型以相同的精度预测积极结果的观测标签。

  • 当预测阳性(接受率)与观察到的积极结果(合格申请人)的比率时,会出现负值D大于比率小平面a. 这些值表示可能对偏好的方面存在偏差a由于相对较多的误报发生而引起的切面a. 比率的差异越负,明显的偏差就越极端。