機器學習筆記--常見算法(8)--logistic regression

0.邏輯迴歸的引出

對分類問題應用線性迴歸不是一個好主意
二分類問題：
0：negative class
1：positive class

If h(x)>0.5, predict y=1
If h(x)<0.5, predict y=0

Logistic regression: 0<h(x)<1

1.假設函數hypothesis function

線性迴歸的假設函數爲：$h_\theta(x)=\theta^Tx$

S 型函數/Sigmoid function/logistic function: $g(z) = \frac{1}{1+e^{-z}}$

logistic迴歸的假設函數爲：$h_\theta(x)=g(\theta^Tx)$
其中，$g(z) = \frac{1}{1+e^{-z}}$
所以，logistic迴歸的假設函數爲：$h_\theta(x)= \frac{1}{1+e^{-\theta^Tx}}$

假設函數 $h_\theta(x)$的意義：
$h_\theta(x)=P(y=1|x;\theta)$
$h_\theta(x)$表示在$x,\theta$條件下$y=1$的條件概率

決策邊界(decision boundary)

預測輸出y等於0還是1：通過判斷z＞0或z ＜ 0,即通過判斷$\theta^Tx&gt;0$ or $\theta^Tx&lt;0$

（上圖：通過增加複雜的多項式特徵變量(平方，三次方等)，可以得到更復雜的決策邊界）

2.代價函數cost function

如何擬合邏輯迴歸模型的參數$\theta$，即給定訓練集，根據數據自動擬合參數。

如果繼續使用線性迴歸時的代價函數，是非凸函數，有局部最優值，當使用梯度下降算法時可能找不到最優值。故選擇另一種代價函數。（凸函數是單弓形狀，凸函數無局部最優值）

代價函數：


代價函數：
$J(\theta)=\frac{1}{m}\sum_{i=1}^{m}Cost(h_\theta(x^{(i)})-y^{(i)})$
$J(\theta)=-\frac{1}{m}[\sum_{i=1}^my^{(i)}log(h_\theta(x^{(i)}))+(1-y^{(i)})log(1-h_\theta(x^{(i)}))]$

3.優化-梯度下降算法

（特徵縮放：如果特徵範圍差距很大時，可以用特徵縮放的方法，讓梯度下降收斂更快(類比線性迴歸)）

其他優化算法：