高斯混合模型Gaussian Mixture Model (GMM)算法從基礎詳解

高斯混合模型就是用高斯概率密度函數正態分佈曲線)精確地量化事物,它是一個將事物分解爲若干的基於高斯概率密度函數(正態分佈曲線)形成的模型

高斯模型就是用高斯概率密度函數正態分佈曲線)精確地量化事物,將一個事物分解爲若干的基於高斯概率密度函數(正態分佈曲線)形成的模型。 對圖像背景建立高斯模型的原理及過程:圖像灰度直方圖反映的是圖像中某個灰度值出現的頻次,也可以以爲是圖像灰度概率密度的估計。如果圖像所包含的目標區域和背景區域相差比較大,且背景區域和目標區域在灰度上有一定的差異,那麼該圖像的灰度直方圖呈現雙峯-谷形狀,其中一個峯對應於目標,另一個峯對應於背景的中心灰度。對於複雜的圖像,尤其是醫學圖像,一般是多峯的。通過將直方圖的多峯特性看作是多個高斯分佈的疊加,可以解決圖像的分割問題。 在智能監控系統中,對於運動目標的檢測是中心內容,而在運動目標檢測提取中,背景目標對於目標的識別和跟蹤至關重要。而建模正是背景目標提取的一個重要環節。(摘自百科)

------預備基礎:

 

(1)概率密度函數(摘自百科)

在數學中,連續型隨機變量概率密度函數(在不至於混淆時可以簡稱爲密度函數)是一個描述這個隨機變量的輸出值,在某個確定的取值點附近的可能性的函數。而隨機變量的取值落在某個區域之內的概率則爲概率密度函數在這個區域上的積分。當概率密度函數存在的時候,累積分佈函數是概率密度函數的積分。概率密度函數一般以小寫標記。

   

概率分佈、概率函數P(x)、概率分佈函數F(x)概率密度函數f(x)   他們之間的區分轉自如下鏈接:

https://www.jianshu.com/p/0cfc3204af77

---------進入主題前,先明確幾個概念:
離散型變量(或取值個數有限的變量):取值可一一列舉,且總數是確定的,如投骰子出現的點數(1點、2點、3點、4點、5點、6點)。
連續型變量(或取值個數無限的變量):取值無法一一列舉,且總數是不確定的,如所有的自然數(0、1、2、3……)。

離散型變量取某個值xi的概率P(xi)是個確定的值(雖然很多時候我們不知道這個值是多少),即P(xi)≠0:例如,投一次骰子出現2點的概率是P(2)=1/6。

連續型變量取某個值xi的概率P(xi)=0:對於連續型變量而言,“取某個具體值的概率”的說法是無意義的,因爲取任何單個值的概率都等於0,只能說“取值落在某個區間內的概率”,或“取值落在某個值鄰域內的概率”,即只能說P(a<xi≤b),而不能說P(xi)。 爲什麼是這樣?且看下例:
  例如,從所有自然數中任取一個數,問這個數等於5的概率是多少?從所有的自然數中取一個,當然是有可能取到5的,但是自然數有無窮多個,因此取到5的概率是1/∞,也就是0。
  又如扔飛鏢,雖然是有可能落在靶心的,但其概率也是0(不考慮熟練程度等其他因素),因爲靶盤上有無數個點,每個點的概率是一樣的,因此落在某一個具體的點上的概率爲1/∞=0。

根據前面的例子可知:在連續型變量中:概率爲0的事件是有可能發生的,概率爲1的事件不一定必然發生。

----------主題部分:

概率分佈:給出了所有取值及其對應的概率(少一個也不行),只對離散型變量有意義。例如:

概率分佈

概率函數:用函數形式給出每個取值發生的概率,P(x)(x=x1,x2,x3,……),只對離散型變量有意義,實際上是對概率分佈的數學描述。

概率分佈和概率函數只對離散型變量有意義,那如何描述連續型變量呢?

答案就是“概率分佈函數F(x)”和“概率密度函數f(x)”,當然這兩者也是可以描述離散型變量的。

概率分佈函數F(x):給出取值小於某個值的概率,是概率的累加形式,即:
F(xi)=P(x<xi)=sum(P(x1),P(x2),……,P(xi))(對於離散型變量)或求積分(對於連續型變量,見後圖)。

概率分佈函數F(x)的性質

概率分佈函數性質

概率分佈函數F(x)的作用:如下圖
(1)給出x落在某區間(a,b]內的概率:P(a<x≤b)=F(b)-F(a)
(2)根據F(x)的斜率判斷“區間概率”P(A<x≤B)的變化(實際上就是後面要說的概率密度函數f(x))(特別注意:是判斷“區間概率”,即x落在(A,B]中的概率,而不是x取某個確定值的概率,這是連續型變量和離散型變量的本質區別)
  某區間(A,B]內,F(x)越傾斜,表示x落在該區間內的概率P(A<x≤B) 越大。如圖中(a,b]區間內F(x)的斜率最大,如果將整個取值區間以δx=b-a的間隔等距分開,則x落在(a,b]內的概率最大。爲什麼?因爲P(A<x≤B) )=F(B)-F(A),所有區間中只有在(a,b]這個區間上(即A=a,B=b)F(B)-F(A)達到最大值,也就是圖中豎向紅色線段最長。

概率分佈函數解析

概率密度函數f(x):給出了變量落在某值xi鄰域內(或者某個區間內)的概率變化快慢概率密度函數的值不是概率,而是概率的變化率,概率密度函數下面的面積纔是概率

概率密度函數定義
概率密度函數性質

 

概率分佈函數和概率密度函數之間的關係
特別說明

連續型變量的概率、概率分佈函數、概率密度函數之間的關係(以正態分佈爲例)如下圖:
  對於正態分佈而言,x落在u附近的概率最大,而F(x)是概率的累加和,因此在u附近F(x)的遞增變化最快,即F(x)曲線在(u,F(u))這一點的切線的斜率最大,這個斜率就等於f(u)。x落在a和b之間的概率爲F(b)-F(a)(圖中的紅色小線段),而在概率密度曲線中則是f(x)與ab圍成的面積S。如下圖所示:

概率、概率分佈函數、概率密度函數之間的關係

概率密度函數在某點a的值f(a)的物理意義到底是什麼?

我們知道f(a)表示,概率分佈函數F(x)在a點的變化率(或導數);其物理意義實際上就是x落在a點附近的無窮小鄰域內的概率,但不是落在a點的概率(前已述及,連續變量單點概率=0),用數學語言描述就是:

關係

(2)高斯分佈(摘自百科)

正態分佈(Normal distribution),也稱“常態分佈”,又名高斯分佈(Gaussian distribution)。

通過概率密度函數來定義高斯分佈

PS:通常用「概率密度函數」代替概率,僅僅去比較大小。還有其他的分佈,我也沒有去深挖 :)。而不是直接求出概率。這非常重要!!!

(3)似然函數以及本質   (來自博客:https://blog.csdn.net/weixin_40499753/article/details/82977623

數理統計學中,似然函數是一種關於統計模型中的參數函數,表示模型參數中的似然性

似然函數在統計推斷中有重大作用,如在最大似然估計費雪信息之中的應用等等。“似然性”與“或然性”或“概率”意思相近,都是指某種事件發生的可能性,但是在統計學中,“似然性”和“或然性”或“概率”又有明確的區分。

概率 用於在已知一些參數的情況下,預測接下來的觀測所得到的結果,而似然性 則是用於在已知某些觀測所得到的結果時,對有關事物的性質的參數進行估計。

對於這個函數:

P(x|θ)           輸入有兩個:x表示某一個具體的數據;θ表示模型的參數。

如果θ是已知確定的,x是變量,這個函數叫做概率函數(probability function),它描述對於不同的樣本點x,其出現概率是多少。

如果x是已知確定的,θ是變量,這個函數叫做似然函數(likelihood function), 它描述對於不同的模型參數,出現x這個樣本點的概率是多少。

這有點像“一菜兩喫”的意思。其實這樣的形式我們以前也不是沒遇到過,例如指數函數與二次函數的例子。就是參數不同導致的結果。

在這種意義上,似然函數可以理解爲條件概率的逆反。   P(A|B)

在已知某個參數B時,事件A會發生的概率寫作:                      P(A|B)=\frac{P(A,B)}{P(B)}

利用貝葉斯定理:                 P(B|A)=\frac{P(B,A)}{P(A)}

因此,我們可以反過來構造表示似然性的方法:已知有事件A發生,運用似然函數L(B|A)我們估計參數B的可能性。

形式上,似然函數也是一種條件概率函數,但我們關注的變量改變了:

                                        b\rightarrow P(A|B=b)

注意到這裏並不要求似然函數滿足歸一性:  \sum P(A|B=b)=1 (b\in B)

一個似然函數乘以一個正的常數之後仍然是似然函數。對所有α > 0,都可以有似然函數:L(b|A)=\alpha P(A|B=b)     

PS:極大似然估計,通俗理解來說,就是利用已知的樣本結果信息,反推最具有可能(最大概率)導致這些樣本結果出現的模型參數值!

換句話說,極大似然估計提供了一種給定觀察數據來評估模型參數的方法,即:“模型已定,參數未知”

更詳細瞭解可以查看以下鏈接:

https://blog.csdn.net/u011508640/article/details/72815981

https://zhuanlan.zhihu.com/p/26614750

-------------------------正題---------------

  高斯模型分爲一維和多維如下圖所示:

xμ∑三個都是向量或者矩陣,x跟μ是向量,∑是矩陣(二維的話就是2x2矩陣,三維的話就是3x3矩陣),上式中的平方就變成了向量的轉置和矩陣的乘法之類的,形式是一樣的只是向量和標量之間的區別。

改天再寫。

 


 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章