數據挖掘十大經典算法(5) 最大期望(EM)算法

在統計計算中,最大期望(EM,Expectation–Maximization)算法是在概率(probabilistic)模型中尋找參數最大似然估計的算法,其中概率模型依賴於無法觀測的隱藏變量(Latent Variabl)。最大期望經常用在機器學習和計算機視覺的數據集聚(Data Clustering)領域。最大期望算法經過兩個步驟交替進行計算,第一步是計算期望(E),也就是將隱藏變量象能夠觀測到的一樣包含在內從而計算最大似然的期望值;另外一步是最大化(M),也就是最大化在 E 步上找到的最大似然的期望值從而計算參數的最大似然估計。M 步上找到的參數然後用於另外一個 E 步計算,這個過程不斷交替進行。

 

最大期望過程說明

我們用 /textbf{y} 表示能夠觀察到的不完整的變量值,用 /textbf{x} 表示無法觀察到的變量值,這樣 /textbf{x} 和 /textbf{y} 一起組成了完整的數據。/textbf{x} 可能是實際測量丟失的數據,也可能是能夠簡化問題的隱藏變量,如果它的值能夠知道的話。例如,在混合模型Mixture Model)中,如果“產生”樣本的混合元素成分已知的話最大似然公式將變得更加便利(參見下面的例子)。

估計無法觀測的數據

讓 p/, 代表矢量 θp( /mathbf y, /mathbf x | /theta) 定義的參數的全部數據的概率分佈(連續情況下)或者概率集聚函數(離散情況下),那麼從這個函數就可以得到全部數據的最大似然值,另外,在給定的觀察到的數據條件下未知數據的條件分佈可以表示爲:

p(/mathbf x |/mathbf y, /theta) = /frac{p(/mathbf y, /mathbf x | /theta)}{p(/mathbf y | /theta)} = /frac{p(/mathbf y|/mathbf x, /theta) p(/mathbf x |/theta) }{/int p(/mathbf y|/mathbf x, /theta) p(/mathbf x |/theta) d/mathbf x}
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章