Kullback-Leibler Divigence (KL) - Amazon SageMaker
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Kullback-Leibler Divigence (KL)

Kullback-Leibler difference (KL) 测量观察到的分面 a、P 的标签分布量a(y),与分面 d、P 的分布有差异d(y)。它也称为 P 的相对范围a(y) 相对于 Pd(y) 并量化从 P 移动时丢失的信息量a(y) 到 Pd(y)。

Kullback-Leibler 差异的公式如下所示:

        KL(P)a || Pd) = ∑yPa(y)*log[P]a(y)/Pd(y)]

这是概率 P 之间的对数差异的预期a(y) 和 Pd(y),其中期望按概率 P 加权a(y)。这不是分布之间的实际距离,因为它是非对称的,并且不满足三角形不相等。该实施使用自然对数,以 nat 为单位提供 KL。使用不同的对数基准会提供比例结果,但以不同的单位。例如,使用以 2 为底的 提供以位为单位的 KL。

例如,假设一组放货申请方的审批率为 30%(分面 d),而其他申请者(分面 a)的审批率为 80%。Kullback-Leibler 公式为您提供分面 a 与分面 d 的标签分布差异,如下所示:

        KL = 0.8*ln(0.8/0.3) + 0.2*ln(0.2/0.7) = 0.53

此处公式中有两个术语,因为在此示例中标签是二进制的。除了二进制标签之外,此度量还可应用于多个标签。例如,在大学准入场景中,假定可以为一位学生分配以下三个类别标签之一:yi = {y0,y1,y2} = {rejected, waitlisted, accepted}。

二进制、多类别和连续结果的 KL 指标的值范围为 [0, +∞)。

  • 值接近零意味着对于不同的分面,结果分布相似。

  • 正值表示标签分布 differences (偏差),正值越大 difference (偏差) differences (偏差)。