Logistic regresion

1.基本概念

       Logistic regression主要應用與分類問題，和迴歸問題一樣同屬於“監督學習”。在二分類問題中，其主要思想是設定某一個閾值（threshold），當超過該閾值時，判定結果爲1；否則爲0。如下例：

我們假定當tumor size大於一定程度的時候，我們就認爲該腫瘤爲惡性腫瘤（malignant）

2.模型函數h（hypothesis）

在logistic regression中，我們認爲模型函數爲，其中函數g被定義爲sigmoid函數：g = 1./(1+ 1./exp(z));

由此，進一步解析該模型得：

3.Cost Function——J(θ)

該模型代價函數如下：

J = sum(-(y.*log(hx) + (1-y).*log(1-hx)))/m;

正則化優化：

其中，j從0開始，到n結束

偏導數：

對任意特徵θ_j求偏導：

grad = (X'*(hx - y))/m;

正則化優化：

 

其中，j從0開始，到n結束

4.Advanced Optimization（高級優化）

在之前的Linear regression中，我們使用gradient descent（梯度下降）來尋找J(θ)的最小值，該方法也同樣可以運用在我們的logistic regression中，在這裏我們使用更高級的函數fminunc函數（無約束最小化函數），在該函數中，自帶智能內循環，無須我們選擇學習率alpha，該函數能自帶選擇最優的學習率。關於該函數的用法可借鑑：Matlab中fminunc函數的意義 以及options函數的初級用法。

5.Mul­ti‐class  classificaon: One-­‐vs-­‐all