相對熵(relative entropy)又稱爲KL散度（Kullback-Leibler divergence），KL距離，是兩個隨機分佈間距離的度量。記爲DKL(p||q)。它度量當真實分佈爲p時，假設分佈q的無效性。
DKL(p||q) 表示在真實分佈爲p的前提下，使用q分佈進行編碼相對於使用真實分佈p進行編碼（即最優編碼）所多出來的bit數。
https://blog.csdn.net/tsyccnh/article/details/79163834
https://blog.csdn.net/rtygbwwwerr/article/details/50778098