機器智能-高頻問題：EM算法

3、EM算法（Expectation maximization），是無監督學習的一種
a、期望最大算法，通過觀察數據來學習參數，學到的參數能夠滿足使得觀察數據以最大的可能性出現。與極大後驗假說類似。
b、應用：聚類
給定一些觀察數據x,假定x符合如下的混合高斯分佈：

混合高斯分佈是指有多個高斯分佈密度函數將他們組合起來。即有多聚類（聚合中心點）。
求混合高斯分佈的三組參數：μk、σk、 πk

πk是高斯核的權重，即每個聚類中心點的重要性。
c、聚類初始階段：開始的數據形式。數據x屬於哪個類是未知的，每個高斯分佈的參數值也是未知的，只知道有多少個高斯分佈。

d、EM算法過程：
①、用隨機函數初始化k個高斯分佈參數，同時保證
即所有的權重進行隨機賦值
②、Expectation：依次取觀察數據x,比較x在k個高斯函數中的概率大小，把數據x歸到概率最大的某一個類中。看一個數據屬於哪一個高斯核，相當於對所有的數據進行重新劃分。
p(x|k)
③、更新所有的參數。用最大似然估計使觀察數據x出現的概率最大，因爲第二步已經將x進行了歸類，此步計算高斯參數如下

④、重複步驟2用步驟3得到的新參數對x重新進行歸類直到下列概率最大

e、問題求解過程：