反事实翻转测试 (FT) - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

反事实翻转测试 (FT)

翻转测试是一种检查分面 d 的每个成员并评估分面 a 的相似成员是否具有不同模型预测的方法。分面 a 的成员被选为分面 d 中观测值的 k 最近邻。我们评估有多少对立组的最近邻得到了不同的预测,其中翻转的预测可以从正变为负,反之亦然。

反事实翻转测试的公式是两个集合的基数之差除以分面 d 的成员数:

        FT = (F+ - F-)/nd

其中:

  • F+ 是具有不利结果的不利分面 d 的成员数,这些成员在有利分面 a 中的最近邻获得了有利结果。

  • F- 是具有有利结果的不利分面 d 的成员数,这些成员在有利分面 a 中的最近邻获得了不利结果。

  • nd 是分面 d 的样本量。

二进制和多类别分面标签的反事实翻转测试的值范围为 [-1, +1]。对于连续标签,我们设置了一个阈值,将标签折叠为二进制标签。

  • 当不利分面 d 的不利反事实翻转测试决策数量超过有利决策的数量时,就会出现正值。

  • 当不利和有利反事实翻转测试决策的数量达到平衡时,就会出现接近零的值。

  • 当不利分面 d 的不利反事实翻转测试决策数量少于有利决策的数量时,就会出现负值。