平等对待 (TE) - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

平等对待 (TE)

平等对待 (TE) 是指分面 a 和分面 d 之间假阴性与假阳性比率之差。该指标的主要理念是评估即使各组的准确率相同,错误对一组的伤害是否比另一组更大? 错误率来自假阳性和假阴性的总和,但对于不同的分面,这两者的细分可能大不相同。TE 衡量错误在各分面的补偿方式是相似还是不同。

平等对待的公式:

        TE = FNd/FPd - FNa/FPa

其中:

  • FNd 是分面 d 的假阴性预测值。

  • FPd 是分面 d 的假阳性预测值。

  • FNa 是分面 a 的假阴性预测值。

  • FPa 是分面 a 的假阳性预测值。

请注意,如果 FPa 或 FPd 为零,该指标就会变成无界。

例如,假设有 100 名贷款申请人来自分面 a,有 50 名贷款申请人来自分面 d。就分面 a 而言,有 8 人被错误地拒绝贷款 (FNa),另有 6 人被错误地批准贷款 (FPa)。其余的预测均正确,那么 TPa + TNa = 86。对于分面 d,有 5 人被错误地拒绝 (FNd),有 2 人被错误地批准 (FPd)。其余的预测均正确,那么 TPd + TNd = 43。分面 a 的假阴性与假阳性之比等于 8/6 = 1.33,分面 d 的假阴性与假阳性之比等于 5/2 = 2.5。因此,TE = 2.5 - 1.33 = 1.167,尽管两个分面的准确率相同:

        ACCa = (86)/(86+ 8 + 6) = 0.86

        ACCd = (43)/(43 + 5 + 2) = 0.86

二进制和多类别分面标签的有条件拒绝差异的值范围为 (-∞, +∞)。未为连续标签定义 TE 指标。对该指标的解释取决于假阳性(I 型错误)和假阴性(II 型错误)的相对重要性。

  • 当分面 d 的假阴性与假阳性之比大于分面 a 的假阴性与假阳性之比时,就会出现正值。

  • 当分面 a 的假阴性与假阳性之比和分面 d 的假阴性与假阳性之比相似时,就会出现接近零的值。

  • 当分面 d 的假阴性与假阳性之比小于分面 a 的假阴性与假阳性之比时,就会出现负值。

注意

先前的版本指出,平等对待指标的计算公式是 FPa / FNa - FPd / FNd,而不是 FNd / FPd - FNa / FPa。这两个版本都可以使用。有关更多信息,请参阅Fairness measures for Machine Learning in Finance