1. 一些英文簡稱
iid :independently and identically distribute
EM :Expectation Maximization
2. EM算法
首先來明確一下我們的目標：我們的目標是在觀察變量X和給定觀察樣本
的情況下，極大化對數似然函數：
其中只包含觀察變量(Observed Variable)的概率密度函數
其中Z爲隱藏隨機變量，
是Z的所有可能取值。那麼，
其中，
。
上列不等式是有Jensen不等式得來的。它取等號的條件是：需要讓隨機變量變成常數值，這裏得到：
那麼：
那麼一般的EM算法的步驟如下：
的情況下，極大化對數似然函數：
是Z的所有可能取值。那麼，
。
期望最大化算法收斂性：
參考資料
EM算法原理（作者：Rachel-Zhang，浙大CS在讀）