混合高斯分佈

單高斯模型

一維情況下高斯分佈,概率密度函數,一個正態函數,分佈都清楚。
下面這位作者給出的二維高斯分佈圖很形象,能快速理解
服從二維高斯分佈的數據主要集中在一個橢圓內部
二維高斯分佈(Two-dimensional Gaussian distribution)的參數分析
類比,服從三維的數據集中在一個橢球內部

混合高斯模型

假設混合高斯模型由K個高斯模型組成(即數據包含K個類),則GMM的概率密度函數如下:
在這裏插入圖片描述
在這裏插入圖片描述
是第k個高斯模型的概率密度函數,可以看成選定第k個模型後,該模型產生x的概率;
在這裏插入圖片描述
​ 是第k個高斯模型的權重,稱作選擇第k個模型的先驗概率,且滿足
在這裏插入圖片描述
所以,混合高斯模型並不是什麼新奇的東西,它的本質就是融合幾個單高斯模型,來使得模型更加複雜,從而產生更復雜的樣本。理論上,如果某個混合高斯模型融合的高斯模型個數足夠多,它們之間的權重設定得足夠合理,這個混合模型可以擬合任意分佈的樣本。
下面一維高斯混合模型

在這裏插入圖片描述
可見,調整權重將極大影響混合模型的概率密度函數曲線。另一方面也可以直觀地理解混合高斯模型可以更好地擬合樣本的原因:它有更復雜更多變的概率密度函數曲線。理論上,混合高斯模型的概率密度函數曲線可以是任意形狀的非線性函數。
如果需要知道二維混合高斯模型分佈,這個作者講述很好
詳解EM算法與混合高斯模型(Gaussian mixture model, GMM)

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章