generalized linear model, GLM

首先解釋一下指數分佈族的概念。如果某個概率分佈能夠表示這種指數形式:


例如假設某個伯努利分佈Ber(fai): P(y=1;fai) = fai,這裏fai表示數學符號...


,則,所以伯努利分佈是指數分佈族的特例。

指數分佈族還包括常見的高斯分佈、指數分佈、伽馬分佈、泊松分佈等。

現在來看一下廣義線性模型的三個設計決策(或者說假設):

(1)給定輸入X、theta,我們假定要預測的變量Y服從指數分佈族,即 y|X,theta ~ Exp Family()

(2)給定X,我們的學習算法的目標是輸出E[T(y)|X],

(3),即和輸入特徵的關係是線性的,並且它們之間的關係由theta確定。通常是一個實數。

廣義線性模型實際上是線性模型的擴展,通過聯結函數g()(link function),建立響應變量Y的數學期望值與觀察變量的線性組合P之間的關係。我們在設計的時候只需要關注於如何對輸出變量Y做適合的概率分佈假設,不用考慮其它的細節。

來看一下邏輯迴歸模型的設計方法,其實它就是服務伯努利分佈的廣義線性模型。


在這裏,爲鏈接函數。(鏈接函數的標準定義是取g,使得,在伯努利分佈中,Y的期望剛好等於)

至於參數theta可以考慮用最大似然進行估計。



發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章