EM算法
（1）EM算法是一種迭代算法，用於含有隱變量的概率模型參數的極大似然估計，或極大後驗概率估計。
（2）EM算法的每次迭代由兩步組成：E步，求期望；M步，求極大。所以這一算法稱爲期望極大算法，簡稱EM算法。
（3）觀測數據的極大似然估計沒有解析解，只有通過迭代的方法求解，使用EM算法可以求解。
（4）EM算法與初值的選擇有關，選擇不同的初值可能得到不同的參數估計值。
（5）用
（6）EM算法通過迭代求觀測數據的對數似然函數的極大似然估計。
（7）EM算法的收斂是迭代過後參數的值不再變化，或者變化在一個閥值以內。
（8）EM算法是通過不斷求解下界的極大化逼近求解對數似然函數極大化的算法。
（9）關於EM算法收斂的兩個定理：①觀測數據的似然函數是遞增的；②觀測數據的對數似然函數只會收斂到函數的穩定值。
（10）定理只能保證參數估計序列收斂到對數似然函數序列的穩定點，不能保證收斂到極大值點。因此，初值的選擇非常重要，常用的辦法是選取幾個不同的初值進行迭代，然後對得到的各個估計值加以比較，從中選擇最好的。
- EM算法在高斯混合模型學習中的應用
- （1）高斯混合模型、高斯分佈密度
- （2）用EM算法估計高斯混合模型的參數，步驟爲：①明確隱變量，寫出完全數據的對數似然函數；②EM算法的E步：確定Q函數；③確定EM算法的M步。
- （3）高斯混合模型參數估計的EM算法
- ①取參數的初始值開始迭代；
②E步：依據當前模型參數，計算分模型k對觀測數據yj的響應度；
③M步：計算新一輪迭代的模型參數；
④重複第②步和第③步，知道收斂。
重點內容
（1）EM算法還可以解釋爲F函數的極大-極大算法，基於這個解釋有若干變形和推廣，例如廣義期望極大算法（GEM算法）
（2）EM算法的一次迭代可有F函數的極大-極大算法實現。
（3）GEM算法有三種實現方式。