指數分佈族的後驗概率函數都可以是logistic/sigmod形式

logistic regression的魯棒性較強，針對樣本的不同分佈都可以得到一個相當不錯的效果。在Andrew Ng的課程裏面說過，logistic function可以用來做樣本符合指數分佈族的後驗概率函數。三年前的自己怎麼都想不通爲什麼，還抱着一本廣義線性模型翻來覆去的看，也沒看出個端倪。想想自己學習知識也真是不夠系統的。前兩天又看到這個定義，恍然大悟。
指數分佈族的表現形式參考該鏈接：http://blog.csdn.net/saltriver/article/details/55105285。ligistic 函數是所有後驗概率的表達函數原因很簡單，一個樣本x，y=0的概率爲：
p（x|y=0）p（y=0）/{p（x|y=0）p（y=0）+p（x|y=1）p（y=1）}
=1/{1+p（x|y=1）p（y=1）/p（x|y=0）p（y=0）}
p（y=1）/p（y=0）爲常數
p（x|y=1），p（x|y=0）爲同一個指數分佈族不過參數不一樣而已，
所有可以把p（x|y=1）/p（x|y=0）寫成一個指數的形式，所有終歸會變換成1/{1+exp(-f(x|h1,η1,h2,η2,p（y=1）/p（y=0）))}。其中h1,η1,h2,η2分別表示兩個指數分佈族的參數，p（y=1）/p（y=0）)爲常說，也就是說接下來使用WX來對f(x|h1,η1,h2,η2,p（y=1）/p（y=0）)進行擬合。
在邏輯迴歸中，一般都會講到對數機率，也就是說這類的迴歸都是在嘗試着使用W*X來擬合log{p（x|y=0）/p（x|y=1）}。不管p（x|y=0）符合什麼樣的分佈，如果是指數分佈族，應該會有更好的表現而已。