混合高斯模型（Mixtures of Gaussians）和EM算法

這篇討論使用期望最大化算法（Expectation-Maximization）來進行密度估計（density estimation）。

      與k-means一樣，給定的訓練樣本是，我們將隱含類別標籤用表示。與k-means的硬指定不同，我們首先認爲是滿足一定的概率分佈的，這裏我們認爲滿足多項式分佈，，其中，有k個值{1,…,k}可以選取。而且我們認爲在給定後，滿足多值高斯分佈，即。由此可以得到聯合分佈。

      整個模型簡單描述爲對於每個樣例，我們先從k個類別中按多項式分佈抽取一個，然後根據所對應的k個多值高斯分佈中的一個生成樣例，。整個過程稱作混合高斯模型。注意的是這裏的仍然是隱含隨機變量。模型中還有三個變量和。最大似然估計爲。對數化後如下：

      

      這個式子的最大值是不能通過前面使用的求導數爲0的方法解決的，因爲求的結果不是close form。但是假設我們知道了每個樣例的，那麼上式可以簡化爲：

      

       這時候我們再來對和進行求導得到：

      

      就是樣本類別中的比率。是類別爲j的樣本特徵均值，是類別爲j的樣例的特徵的協方差矩陣。

實際上，當知道後，最大似然估計就近似於高斯判別分析模型（Gaussian discriminant analysis model）了。所不同的是GDA中類別y是伯努利分佈，而這裏的z是多項式分佈，還有這裏的每個樣例都有不同的協方差矩陣，而GDA中認爲只有一個。

      之前我們是假設給定了，實際上是不知道的。那麼怎麼辦呢？考慮之前提到的EM的思想，第一步是猜測隱含類別變量z，第二步是更新其他參數，以獲得最大的最大似然估計。用到這裏就是：

循環下面步驟，直到收斂： {

      （E步）對於每一個i和j，計算

                  

      （M步），更新參數：

                  

}

      在E步中，我們將其他參數看作常量，計算的後驗概率，也就是估計隱含類別變量。估計好後，利用上面的公式重新計算其他參數，計算好後發現最大化最大似然估計時，值又不對了，需要重新計算，周而復始，直至收斂。

      的具體計算公式如下：

      

      這個式子利用了貝葉斯公式。

      這裏我們使用代替了前面的，由簡單的0/1值變成了概率值。

      對比K-means可以發現，這裏使用了“軟”指定，爲每個樣例分配的類別是有一定的概率的，同時計算量也變大了，每個樣例i都要計算屬於每一個類別j的概率。與K-means相同的是，結果仍然是局部最優解。對其他參數取不同的初始值進行多次計算不失爲一種好方法。

      雖然之前再K-means中定性描述了EM的收斂性，仍然沒有定量地給出，還有一般化EM的推導過程仍然沒有給出。下一篇着重介紹這些內容。

轉載自：http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006924.html