Gaussian Discriminant Analysis model 第一個生成學習算法模型

這是課程講到的第一個生成學習算法,它將對p(x|y)建模。

它要解決分類問題,此例中y只取0或1,x取連續量。

對此模型的定義:

y顯然是伯努利分佈,這裏我們假設了x服從多維正態分佈。

具體展開上面的概率分佈:


我們依然用最大化擬然函數的方法得到各參數的最優值:(與前面稍有不同,前面我們用p(y|x)來得出擬然函數,但這裏我們爲了簡化計算,採用p(x,y)得出,事實上,兩者同時取最值。)


將概率分佈代入上式,最大化這個函數,得到:(過程略)


這些結果是很合理的,符合它的含義,μ0其實是所有分類爲0的樣本中xi出現次數的和,它作爲期望值合情合理。其他參數也同理。



這是算法得出的結果,注意到,它與線性迴歸類似,實質上也是得到了一個決策邊界:一條直線。

事實上,本文中的GDA模型與logistic迴歸是有聯繫的,下篇博文將總結。

p(x|y) 時高斯分佈是,可導出 p(y|x) 符合某種形式的logistic函數反之則不一定成立。這說明,GDA對數據的特徵進行了更強的假設,當假設正確時,GDA通常能取得比logistic更好的性能。當p(x|y) 真的是服從高斯分佈時,GDAasymptoticallyefficient 漸近有效的,意即,沒有別的算法能比他嚴格地更好

logistic做了更弱地假設,優點是假設錯誤時代價小,更具普適意義,也更常用


發佈了49 篇原創文章 · 獲贊 14 · 訪問量 2萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章