概率生成模型(Probabilistic Generative Model)與樸素貝葉斯(Naive Bayes)

問題引入：假設有2個不同的class C1與C2，C1與C2裏面分別有N1和N2個樣本，現在要對某件物品x進行分類，X一定屬於C1與C2中的某一類。

先引進貝葉斯公式：

P(C1|x)即x屬於C1類別的概率，這裏是二分類，所以我們可以用0.5作爲界限，P>0.5則屬於C1，否則屬於C2。

P(C1)=N1/(N1+N2)，P(C2)=N2/(N1+N2)，所以現在得知道P(x|C1)和P(x|C2)，即在C中取出一個樣本，是X的概率。這裏就需要知道C1和C2的總體服從什麼分佈，在你不確定總體服從什麼分佈的情況下，高斯分佈往往就是最好的選擇。
所以這裏假設C1和C2的總體均服從多維正態分佈，接下來就是利用極大似然估計法來估計出協方差矩陣∑和U，這個過程較爲複雜，具體見下面紙質推導過程：



求出兩個參數之後，我們用概率密度近似代表概率，即：

由此，就可以算出P(C1|x)，再與0.5比較即可。

爲了降低模型複雜度，讓C1與C2的總體共用一個協方差矩陣，而均值還是按照上述極大似然估計得到，推算過程比較複雜，就直接得到結論：

做實驗也可以發現，共用一個協方差矩陣有效地提高了分類準確率。

對決策函數P(C1|x)繼續化簡：

所以說，我們先根據C1和C2得到N1,N2，並估算出u1,u2,∑，進而算出w和b，最後代入：

再將最後結果與0.5比較，就可得出答案。

而所謂樸素貝葉斯(Naive Bayes)，就是說所有特徵都是相互獨立的，也就是說P(C|x)=P(C|x1)*P(C|x2)…P(C|xn)，這個時候的協方差矩陣除了對角線其餘位置都是0。