從零開始機器學習003-邏輯迴歸算法

老師的課程
1.從零開始進行機器學習
2.機器學習數學基礎(根據學生需求不斷更新)
3.機器學習Python基礎
4.最適合程序員的方式學習TensorFlow

問:邏輯迴歸是解決迴歸的問題嗎?
答:不是,邏輯迴歸解決的是分類問題。

一、邏輯迴歸概念

面對一個迴歸或者分類問題,建立代價函數,然後通過優化方法迭代求解出最優的模型參數,然後測試驗證我們這個求解的模型的好壞。
Logistic迴歸雖然名字裏帶“迴歸”,但是它實際上是一種分類方法,主要用於兩分類問題(即輸出只有兩種,分別代表兩個類別)
是什麼手段讓邏輯迴歸只能輸出兩種值呢?答:Sigmoid函數。

二、Sigmoid函數

Logistic函數(或稱爲Sigmoid函數),函數形式爲
這裏寫圖片描述

其中e代表着常數 2.71828......
通過下面的圖形可以看到,把任意一個z帶入到Sigmoid函數中,都會得到一個(0,1)之間的值。那麼我們能否把(0,1)之間的值想成是 0-100%的一個概率值呢?我們把概率小於50%的分爲不易發生的一類。把剩餘的分爲另外一類。這樣就產生了兩個類別。達到分類的目的。這個就是邏輯迴歸作爲分類的理論依據。

三、判定條件(分類的那條線)

對多元線性迴歸方程求Sigmoid函數hθ(x)=g(θ0+θ1x1+...+θnxn),找到一組θ,假設得到−3+x1+x2=0的直線,把樣本分成兩類。把(1,1)代入g函數,概率值<0.5,就判定爲負樣本。這條直線就是判定邊界,如下圖:
這裏寫圖片描述
這條線就是線性迴歸函數,換句話說,參數z就是一個線性迴歸函數。
因此邏輯迴歸函數的表達式如下:
這裏寫圖片描述

四、代價函數

邏輯迴歸方法主要是用最大似然估計來學習的,所以單個樣本的後驗概率爲:
這裏寫圖片描述
整個樣本的後驗概率就是:
這裏寫圖片描述

五、最終運用梯度下降求解:

這裏寫圖片描述


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章