交叉熵与KL散度和交叉熵之间的关系

1.熵

熵的本质是香农信息量$log\frac{1}{p}$

现有关于样本的两个概率分布$p$和$q$，其中$p$为真实分布，$q$为非真实分布。按照真实分布$p$来衡量识别一个样本所需要的编码长度的期望（即平均编码长度）为：$H(p)=-\sum_i P(i)log P(i)$

通用的说，熵被用于描述一个系统中的不确定性。放在信息论的语境里来说，就是一个事件所包含的信息量。变量的不确定性越大,熵也就越大,把它搞清楚所需要的信息量也就越大。
可以看出,当两种取值的可能性相等时,不确定度最大,当p为0或1时,确定其一定不会或一定会发生，信息量(输出概率函数)为$H(P)=0$。

如果使用错误分布$q$来表示来自真实分布$p$的平均编码长度，则应该是：$H(p,q)=-\sum_i P(i)log\ Q(i)$

因为用$q$来编码的样本来自分布$p$，所以期望中的概率为$p(i)$，$H(p,q)$称之为交叉熵, 就是来衡量用特定的编码方案Q来对分布为P的信息进行编码时需要的最少的bits数.

比如含有4个字母(A,B,C,D)的数据集中，真实分布$p=(1/2, 1/2, 0, 0)$，即A和B出现的概率均为1/2，C和D出现的概率都为0。计算$H(p)$为1，即只需要1位编码即可识别A和B。如果使用分布$Q=(1/4, 1/4, 1/4, 1/4)$来编码则得到$H(p,q)=2$，即需要2位编码来识别$A$和$B$(当然还有$C$和$D$，尽管$C$和$D$并不会出现，因为真实分布$p$中C和D出现的概率为0，这里就钦定概率为0的事件不会发生啦)。

2.KL散度

可以看到上例中根据非真实分布$q$得到的平均编码长度$H(p,q)$和根据真实分布$p$得到的平均编码长度$H(p)$。事实上，根据Gibbs’ inequality可知，$H(p,q)>=H(p)$恒成立，当$q$为真实分布$p$时，取等号。

对于固定的$p$，$H(p,q)$将随着$q$变得与$p$越来越不同而增长。 而如果$p$没有固定，很难将$H(p,q)$解释为差异的绝对量度，因为它随着$p$的熵增长。所以我们使用另一种度量方式来度量两个分布的差异性，将由$q$得到的平均编码长度比由$p$得到的平均编码长度多出的bit数称为“相对熵”，也叫做KL散度（Kullback–Leibler divergence）：

$D_{KL}(p||q)=H(p,q)-H(p)=\sum_{i}^{} P(i)*(logP(i)-logQ(i))$

它表示2个函数或概率分布的差异性：差异越大则相对熵越大，差异越小则相对熵越小，特别地，若两者相同则KL散度为0，而交叉熵不为0，而是等于$p$的熵。

KL散度的非对称性

注意，KL散度的非对称性，一些同学把K-L散度看作是不同分布之间距离的度量。这是不对的，因为从K-L散度的计算公式就可以看出它不符合对称性（距离度量应该满足对称性）,即$D_{KL}(P||Q) \neq $D_{KL}(Q||P)$。也就是说用$p$近似$q$和用$q$近似$p$，二者所得的损失信息并不是一样的。

比如TD-IDF算法就可以理解为相对熵的应用：词频在整个语料库的分布与词频在具体文档中分布之间的差异性。

KL散度与交叉熵的关系

$H(p,q)=-\sum P logQ==-\sum P logP+\sum P logP-\sum P logQ$
$=H(P)+\sum P logP/Q=H(P)+D_{KL}(P||Q)$
可见,交叉熵就是真值分布的熵与KL散度的和,而真值的熵是确定的,与模型的参数$\theta$无关,所以梯度下降求导时,$\nabla H(P,Q)=\nabla D_{KL}(P||Q)$,即最小化交叉熵与最小化KL散度是一样的;

最大似然估计

交叉熵经常出现在(神经网络)机器学习的损失函数中。$p$表示真实的分布，$q$则为训练后的模型的预测标记分布。例如，在分类问题中，通常使用交叉熵损失度量标签的真实分布和由分类器预测的分布之间的差异。每个数据点的真实分布将概率1分配给该数据点所属的类，将0分配给所有其他类。在这种情况下，交叉熵与负对数似然成正比，最小化负对数似然等价于最小化交叉熵:
极大似然估计:
$\hat{\theta}=arg max_{\theta}\prod_{i=1}^{N}q(x_i | \theta)$
等价于最小化负对数似然
$\hat{\theta}=arg min_{\theta}-\sum_{i=1}^{N}log(q(x_i | \theta))$
$=arg min_{\theta}-\sum_{x \in X} p(x)log(q(x | \theta))$
$=arg min_{\theta}H(p,q)$

交叉熵作为损失函数还有一个好处是使用sigmoid函数在梯度下降时能避免均方误差损失函数学习速率降低的问题，因为学习速率可以被输出的误差所控制。??

从优化模型参数角度来说，最小化交叉熵，NLL，KL散度这3种方式对模型参数的更新来说是一样的。从这点来看也解释了为什么在深度学习中交叉熵是非常常用的损失函数的原因了。

参考资料：

1. 如何通俗的解释交叉熵与相对熵?
2. Why do we use Kullback-Leibler divergence rather than cross entropy in the t-SNE objective function?