機器學習之邏輯迴歸

由於Logistic迴歸面對的是分類問題，其結果是離散的，因此我們使用Sigmoid函數進行擬合分類。

if g > 0.5           Y = 1

if g <= o.5          Y = 0

在線性迴歸中我們使用了

表示損失函數loss, 對應本文中的邏輯迴歸，我們的loss函數如下：

但是該函數爲一個非凸函數，其圖像如下：

對於非凸函數，使用梯度下降算法，權值很容易收斂到局部最小值M',而非M

因此我們需要修改邏輯迴歸的損失函數loss

 

綜合簡化一下：

因此：

梯度下降：

1.

 

2.

 

3.

 

4.

    

 

5.