MLEM的細節分析

最近發現博友zouxy09的好文：從最大似然到EM算法淺解，對ML-EM做了較爲直觀的解釋，受益匪淺，現在把一些難點記錄一下。

EM部分中 Qi(z(i)) 的含義

我的理解是， Qi(z(i)) 爲 p(x(i);θ) 屬於 z(i) 的概率， 所以 ΣQi(z(i))=1 ；所以公式：

中的(1) 多了一個求和號（對所有隱式變量 z 的情況求和）。

引用博主的文字：

Q是隨機變量z(i)的概率密度函數。

上式中(3)的不等號的推導

根據Jensen不等式，對於凹函數，有

f(E(x))≥E[f(x)]

這裏使x=PQi ，則f(x)=logPQi 。從而有：

E(X)=Σz(i)QiPQi

進一步求f[E(x)]

f[E(x)]=log(Σz(i)QiPQi)≥E[f(x)]=Σz(i)Qi(logPQi)