KL Divergence

参考文章：
KL散度(Kullback-Leibler Divergence)介绍及详细公式推导
变分自编码器(VAE)推导

KL散度简介

KL散度的概念来源于概率论和信息论中。KL散度又被称为：相对熵、互熵、鉴别信息、Kullback熵、Kullback-Leible散度(即KL散度的简写)。在机器学习、深度学习领域中，KL散度被广泛运用于变分自编码器中(Variational AutoEncoder,简称VAE)、EM算法、GAN网络中。

KL散度定义

KL散度的定义是建立在熵(Entropy)的基础上的。此处以离散随机变量为例，先给出熵的定义，再给定KL散度定义。

若一个离散随机变量X的可能取值为$X={x_1,x_2,⋯,x_n}$，而对应的概率为$p_i=p(X=x_i)$，则随机变量$X$的熵定义为：
$H(X)=−∑_i^n=p(x_i)log_p(x_i)$规定当$p(x_i)=0时,p(x_i)log_p(x_i)=0$
若有两个随机变量$P、Q$，且其概率分布分别为$p(x)、q(x)$，则$p$相对$q$的相对熵为：

$D_{KL}(p||q)=∑_i^np(x)log{p(x)\over q(x)}$
之所以称之为相对熵，是因为其可以通过两随机变量的交叉熵(Cross-Entropy)以及信息熵推导得到：
针对上述离散变量的概率分布$p(x)、q(x)$而言，其交叉熵定义为：
$H(p,q)=∑_xp(x)log{1\over q(x)}=−∑_xp(x)logq(x)$
在信息论中，交叉熵可认为是对预测分布$q(x)$用真实分布$p(x)$来进行编码时所需要的信息量大小。
因此，KL散度或相对熵可通过下式得出：

$D_{KL}(p||q)=H(p,q)−H(p)=−∑_xp(x)logq(x)−∑_x−p(x)logp(x)=-∑_xp(x)(logq(x)−logp(x))=−∑_xp(x)log{q(x)\over p(x)}$

代码

import numpy as np
from scipy import *

def asymmetricKL(P,Q):
    return sum(P * log(P / Q)) #calculate the kl divergence between P and Q
 
def symmetricalKL(P,Q):
    return (asymmetricKL(P,Q)+asymmetricKL(Q,P))/2.00

KL = scipy.stats.entropy(P,Q) 

服从一维高斯分布的随机变量KL散度

服从多元高斯分布的随机变量KL散度