相对熵(relative entropy)又称为KL散度（Kullback-Leibler divergence），KL距离，是两个随机分布间距离的度量。记为DKL(p||q)。它度量当真实分布为p时，假设分布q的无效性。
DKL(p||q) 表示在真实分布为p的前提下，使用q分布进行编码相对于使用真实分布p进行编码（即最优编码）所多出来的bit数。
https://blog.csdn.net/tsyccnh/article/details/79163834
https://blog.csdn.net/rtygbwwwerr/article/details/50778098