反事实 Fliptest (FT) - Amazon SageMaker
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

反事实 Fliptest (FT)

翻测试是一种 方法,它查看分面 d 的每个成员,并评估分面 a 的类似成员是否具有不同的模型预测。选择分面 a 的成员作为分面 d 的观察的 k 最近邻。我们评估对等组的最近邻点有多少人收到不同的预测,其中翻转的预测可以从正值变为负值,反之亦然。

反事实翻转测试的公式是两个集合的基数之差除以分面 d 的成员数:

        FT = (F+ - F-)/nd

其中:

  • F+ = 是具有不良结果的细分分面 d 成员的数量,其最近的邻近者倾向于分面 a 得到一个良好的结果。

  • F- = 是具有良好结果的细分分面 d 成员的数量,其最近邻支持的分面具有不良结果。

  • nd 是分面 d 的采样大小。

二进制和多类别分面标签的反事实翻转测试的值范围为 [-1, +1]。对于连续标签,我们设置一个阈值以将标签折叠为二进制标签。

  • 当disfarated 分面 d 的不良反事实翻转测试决策数超出倾向于的分面时,会出现正值。

  • 当反事实和反事实决策数平衡时,将出现接近零的值。

  • 当disfarated 分面 d 的不良反事实翻转测试决策数小于倾向于的分面 d 时,会出现负值。