一、logistic regression
解決統計學中的分類問題，其分佈函數爲一條S形的曲線，該曲線以（u,1/2）中心對稱，曲線在中心附近增長速度較快，兩端增長速度較慢。
1. logistic regression model
是一種分類模型，形式化的表示爲條件概率分佈 P(Y|X)，其中隨機變量X取值爲實數，隨機變量Y的取值爲1或0.
其主要思想即爲比較兩個條件概率的值得大小，將實例x分到條件概率值大的那一類，其中w參數通過監督學習的方法進行估計。
- 機率odds：該事件發生的概率與該事件不發生概率的比值。由式（1）轉換可得（2）
可以看出在logistic regression model中輸出Y=1的對數機率是輸入x的線性函數。其中線性函數的值越接近正無窮，概率值越接近1；線性函數值越接近服無窮，概率值越接近0。
2. 參數估計-極大似然估計
似然函數爲：
其中假設：
可以看出當yi=0時，概率爲P(Y=0|x)；當yi=1時，概率爲P(Y=1|x)，始終爲給定x的條件下得到y的概率。
最後問題轉化爲對數似然函數求極大值，從而得到w的估計值，通常的方法爲梯度下降和擬牛頓法。