點擊上方藍色字體，關注AI小白入門喲
跟着博主的腳步，每天進步一點點
本文介紹了高斯判別分析，首先介紹生成模型，狹義的給出了生成模型與判別模型的一般區別；然後介紹高斯判別分析模型的三個基本假設：1）先驗概率服從伯努利分佈，2）條件概率服從高斯分佈，3）特徵的條件概率相互獨立（同線性模型中的特徵不相關）通過最大似然估計導出模型的參數；最後對比了判別模型中的邏輯迴歸，一般而言，高斯判別模型的假設條件強於邏輯迴歸，在模型選擇時需考慮數據的分佈和模型的適用場景。
作者 | 文傑
編輯 | yuquanle
高斯判別分析
A、生成模型
機器學習模型有一種分類方式：判別模型和生成模型。它們之間的區別在於判別模型是直接從數據特徵到標籤，而生成模型是從標籤到數據特徵。形式化的表示就是是否使用了貝葉斯公式：
機器學習模型從概率的角度來看就是最大的條件概率，判別模型的思想是直接最大化這個概率（Fisher線性判別，線性感知機），生成模型則是通過貝葉斯模型最大後驗概率，其中可以看作是從標籤生成數據，則是標籤的先驗概率。
基本上從標籤到數據的模型都是基於對樣本的統計，以下的模型都是基於數據的統計（但不全是生成模型），所以筆者將這部分歸類到統計概率模型。
B、高斯判別分析
高斯判別分析是一個典型的生成模型，其假設服從一個高斯分佈，服從一個伯努利分佈通過統計樣本來確定高斯分佈和伯努利分佈的參數，進而通過最大後驗概率來進行分類。
假設數據在標籤爲下，特徵爲的條件概率爲服從多元高斯分佈 ，其中爲均值，爲協方差矩陣。則有：
而先驗分佈服從伯努利分佈，當時，是一元伯努利分佈，當時，同樣可以像Logistic推廣到SoftMax一樣處理多元伯努利分佈。下面以一元伯努利分佈爲例計算完整的高斯判別模型的概率：
最大化後驗概率即爲：
極大似然函數有：
最大似然估計得到參數如下：
其中爲指示函數，同時假設，反映一類數據分佈的方差，可以看出最大似然估計的參數值就是基於對樣本的一個統計。
下圖爲一個簡單的高斯判別模型示意圖：
從上圖可以看出，高斯判別模型通過建立兩類樣本的特徵模型，對於二分類問題，然後通過比較後驗概率的大小來得到一個分類邊界。
回過頭來再看最小錯誤貝葉斯決策（Logistic迴歸）與一維高斯判別模型，有趣的是最後得到的決策函數也類似於sigmoid函數。
C、高斯判別模型與Logistic迴歸比較
高斯判別模型的假設是服從一個高斯分佈，服從一個伯努利分佈。
Logistic迴歸的概率解釋中可以看出它的假設是服從伯努利分佈。
由高斯判別分析模型可以得到，加上一些推導可以得到，反之不然：
其中，是參數的某種函數。也就是說高斯判別模型是Logistic迴歸模型中的一種特例。
這裏我們可以發現高斯判別模型的假設強於Logistic模型，也就是說Logistic迴歸模型的魯棒性更強。這就表示在數據量足夠大時，跟傾向於選擇Logistic迴歸模型。而在數據量較小，且服從一個高斯分佈非常合理時，選擇高斯判別分析模型更適合。
The End
方便交流學習，備註：暱稱-學校（公司）-方向，進入DL&NLP交流羣。
方向有很多：機器學習、深度學習，python，情感分析、意見挖掘、句法分析、機器翻譯、人機對話、知識圖譜、語音識別等。
記得備註呦
▼
往期精彩回顧
▼
長按二維碼關注
AI小白入門
ID:StudyForAI
學習AI學習ai(愛)
期待與您的相遇~
你點的每個贊，我都認真當成了喜歡
