首先解釋一下指數分佈族的概念。如果某個概率分佈能夠表示這種指數形式:
例如假設某個伯努利分佈Ber(fai): P(y=1;fai) = fai,這裏fai表示數學符號...
取,則,所以伯努利分佈是指數分佈族的特例。
指數分佈族還包括常見的高斯分佈、指數分佈、伽馬分佈、泊松分佈等。
現在來看一下廣義線性模型的三個設計決策(或者說假設):
(1)給定輸入X、theta,我們假定要預測的變量Y服從指數分佈族,即 y|X,theta ~ Exp Family()
(2)給定X,我們的學習算法的目標是輸出E[T(y)|X],
(3),即和輸入特徵的關係是線性的,並且它們之間的關係由theta確定。通常是一個實數。
廣義線性模型實際上是線性模型的擴展,通過聯結函數g()(link function),建立響應變量Y的數學期望值與觀察變量的線性組合P之間的關係。我們在設計的時候只需要關注於如何對輸出變量Y做適合的概率分佈假設,不用考慮其它的細節。
來看一下邏輯迴歸模型的設計方法,其實它就是服務伯努利分佈的廣義線性模型。
在這裏,,爲鏈接函數。(鏈接函數的標準定義是取g,使得,在伯努利分佈中,Y的期望剛好等於)
至於參數theta可以考慮用最大似然進行估計。