条件验收的差异 (DCACc) - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

条件验收的差异 (DCACc)

此衡量指标将观测到的标签与模型预测的标签进行比较,并评估各个面是否相同,以获得预测的积极结果。此度量接近于模拟人为偏差,因为它可以量化模型在某个方面预测的积极结果(标签 y)与训练数据集(标签 y)中观察到的结果数量相比。例如,如果对中年群体的贷款申请有更多的接受(一个积极的结果)(a),而不是基于资格的模型预测与包含其他年龄组的面(方面D),这可能表明贷款的批准方式存在潜在偏见。

有条件接受差异的公式:

        dacc = ca-cd

其中:

  • ca= na(1)/n'a(1)是观察到的值 1(接受)积极结果数量的比率a到预测的积极结果(接受)数量的方面a.

  • cd= nd(1)/n'd(1)是观察到的值 1(接受)积极结果数量的比率D到预测的预测积极结果(接受率)的数量D.

DCacc 指标可以捕获正负偏差,这些偏差显示基于资格的优惠待遇。考虑以下基于年龄的贷款接受偏见的例子。

示例 1:正偏差

假设我们有 100 个中年人的数据集(面a)和 50 人来自其他年龄组(方面D)谁申请贷款,其中模型建议 60 从方面a和 30 个来自方面D获得贷款。因此,预测的比例相对于 DPL 度量是无偏差的,但观察到的标签显示 70 来自a和 20 个来自方面D获得贷款。换句话说,该模型从中年层面发放的贷款比培训数据中观察到的标签多 17% (70/60 = 1.17),其他年龄组的贷款比观察到的标签低 33% (20/30 = 0.67)。DCACc 值的计算可以量化 +17% 和-33% 之间的差异。DCacc 值的计算得出以下结果:

        分析值 = 70/60-20/30 = 1/2

示例 2:负偏差

假设我们有 100 个中年人的数据集(面a)和 50 人来自其他年龄组(方面D)谁申请贷款,其中模型建议 60 从方面a和 30 个来自方面D获得贷款。因此,预测的比例相对于 DPL 度量是无偏差的,但观察到的标签显示 50 来自a40 个来自方面D获得贷款。换句话说,该模型从中年层面发放的贷款比培训数据所建议的标签少 17% (50/60 = 0.83),其他年龄组的贷款比观察到的标签要多 33% (40/30 = 1.33)。DCACc 值的计算可以量化-17% 和 +33% 之间的差异。DCacc 值的计算得出以下结果:

        分析值 = 50/60-40/30 =-1/2

请注意,您可以使用 DCacc 来帮助您检测潜在(无意)偏差,通过人类在循环设置中监督模型预测。例如,假设模型的预测 y '是公正的,但最终的决定是由一个人(可能具有其他特征的访问权限)做出的,他可以改变模型预测以生成一个新的和最终版本的 y'。人类的额外处理可能无意中从一个方面拒绝给予不成比例的贷款。DCacc 可以帮助检测此类潜在偏差。

二进制、多分面和连续标签的条件接受差异的值范围为 (-∞, +∞)。

  • 当观察到的接受次数与预测接受次数相比的比率时,会出现正值a高于小平面的相同比率D. 这些值表明可能对符合条件的申请人从方面的偏见D. 比率的差异越大,明显的偏差就越极端。

  • 当观察到的接受次数与预测接受次数相比的比率时,会出现接近零的值a类似于小平面的比率D. 这些值表明,预测的接受率与标记数据中的观测值一致,而且两个方面的合格申请人都以类似的方式接受。

  • 当观察到的接受次数与预测接受次数相比的比率时,会出现负值a小于该小平面的比率D. 这些值表明可能对符合条件的申请人从方面的偏见a. 比率的差异越负,明显的偏差就越极端。