4.2 Probabilistic Generative Models
分類問題的生成模型：model p(x|ck),p(ck),再用Bayesian公式推導出p(ck|x)。對於“兩類問題”，有：
其中a的定義如下：
其中有logistic function：
對K>2類分類問題，將logistic擴展到K類，即使用softmax function來解決。softmax的預測函數如下：
即對每一個分類K都要有一個相應的預測值，分母是爲了保證概率之和爲1。當K=2使，可以推導出softmax即logistic。在分類之前，還要對p(x|ck)和p(ck)建模，下面來看看當x分別爲連續型變量和離散型變量時，不同的建模方法。
4.2.1 Continuous inputs
當x是連續型變量，我們假設x|ck服從多維高斯分佈，並假設不同的類有相同的協方差矩陣。即有：
再利用上一小節介紹的關於後驗概率和a的公式，可以得到：
當然這是假設K=2的情況下，且因爲各個分類有相同的協方差矩陣，原本在似然函數中的x的二次項也消失了，注意到現在的決策面a仍然是x的線性函數，如果每個分類有不同的協方差矩陣的時候，那麼二次項會在a中重新出現，模型就不再是線性模型了。當K>2的時候，上述過程是一樣的。現在，在假設x|ck服從高斯分佈的條件下，我們得到了後驗概率的表達式，那麼接下來的任務就是確定似然函數和先驗概率中的參數了。
4.2.2 Maximum likelihood solution
假設先驗概率p(c1)=π，我們可以得到似然函數：
分別對π，μ和協方差矩陣求偏導，得到參數的值，再反帶回後驗概率中進行接下來的預測即可。
4.2.3 Discrete features
每一個輸入向量的分量，即每一個特徵，假設取值爲0或1。假設不同特徵之間是相互獨立的(即樸素貝葉斯假設)，假設對於每一個分類k，都有一個參數向量μK，μKi即在分類爲K的條件下，第i個特徵取1的概率，所以可以得到x|ck的分佈：
乘以先驗之後再對整個式子取對數得到似然函數，對似然函數的參數求偏導後得出參數值，再帶回開始提到的a中，對接下來的輸入進行預測即可。
4.2.4 Exponential family
這一節主要說明了假設x|ck屬於比高斯分佈更廣泛的指數族分佈時的一些性質，就不具體說了。