Logistic Regression 之 Sigmoid

  邏輯迴歸（Logistic Regression, LR）模型是一個二分類模型，屬於廣義線性模型，它還有個名字叫做二項邏輯斯蒂(諦)迴歸（不知爲什麼加個斯蒂(諦)），雖然叫XX迴歸，但卻不屬於迴歸模型。
用概率的觀點看待二分類問題，模型(這個模型是貝葉斯模型)的數學表示：P(Y|x)
        類別y1的後驗概率可以寫成：

P(y1|x)=P(x|y1)P(y1)p(x|y1)P(y1)+p(x|y2)P(y2)

        上下同除以P(x|y1)P(y1):

P(y1|x)=11+p(x|y2)P(y2)p(x|y1)P(y1)

        可進一步轉換：取a=lnP(x|y1)P(y1)p(x|y2)P(y2)
       於是有:

P(y1|x)=11+e−a

    可以看到a等於y1發生的概率與y2發生概率的比值（事件的機率）取對數，這裏爲什麼取對數呢？……似乎爲了引進sigmoid()函數（我曾經也被這樣灌輸過，那麼爲什麼引進sigmoid()函數呢？………..），嗯，先放一放。
  我們回過頭來，根據樸素貝葉斯當y1類發生的概率大於y2類發生的概率時，爲y1類，此時a>0(a=lnP(x|y1)P(y1)p(x|y2)P(y2) )，反之,爲y2類，此時a<0,此時想起來了線性迴歸，彷彿有點聯繫，好的，看下面：
   我們知道線性模型中，可分的超平面S：W*X+b=0,可以看作W*X，爲直觀感受，對二維平面的點進行分類，若W*X大於0，那麼我們可以稱爲y1類，小於0，稱爲y2類，這是線性迴歸,
           
如果我們令a=W*X,這個模型正好可以滿足，於是就把這個模型稱爲邏輯迴歸。
         所以有：

P(y1|x)=11+e−W∗X

  在PRML書上也沒具體說這個，直接把sigmoid引進作用在線性函數上，就稱之爲logistic迴歸，在《統計學習方法》上，直接來了定理，然後把對數機率作用在W*X上。在網上也看了好多資料，似乎也沒講清楚，都是引入sigmod()進來之後，再談引入sigmod()函數的好處，不太嚴謹。

參考：《統計學習方法》，《模式識別與機器學習》