1. 概率密度函数
多变量高斯混合分布的概率密度函数为:
2. 多元高斯分布和标准正态分布的KL散度
3. 两个多元高斯分布之间的KL散度
- 属于2.的一般情况,k是特征的维度
4 .两个高斯混合之间的KL散度
5. 高斯混合分布和多元高斯分布之间的KL散度
- 只需要将多元高斯混合分布扩展为高斯混合分布即可,重复该多元高斯分布。特别地,当多元高斯分布为正太分布时:
- 其中,M表示component的个数,D表示特征的维数。
附录
- 你可以将u2=0,Σ2=I带入上式,得出多元高斯和正太分布之间得KL散度。