[2019計算機視覺]——貪心學院 學習筆記 2. 統計學基礎 {邏輯迴歸}

1. 邏輯迴歸（Logistic）

用於解決二元分類問題

1. 介紹

從兩個備選類中，將給定數據分到這兩個類之中的一個類去。

1. 邏輯函數/模型（logit model）

Logit函數 $F(x) = \frac{1}{1+e^{-x}}$

取值：當f(x)≥0.5，取y = 1，否則取y = 0
注意觀察Logit函數導數的樣子

2. Logit與二元迴歸

我們可以將f(x)看作是“在給定輸入x下，y=1的概率”即 $P(y = 1 | x)$
於是， 可以得到$P(y = 1 | x) = f( x ) = \frac{1}{1+e^{-(\theta_{0}+\theta_{1}x)}}$

3. 使用邏輯迴歸解決二元分類問題

$P(y = 1 | x; \theta) = f(x; \theta) = \frac{1}{1+e^{-\theta^{T}x}}$
解釋：求訓練得到的係數$\theta$，給定x下y=1的概率。也就等於後面的$\frac{1}{1+e^{-\theta^{T}x}}$
$\theta$爲向量，$\theta = [\theta_{0}, \theta_{1},\theta_{2},...]$
$x$也向量，$x = [1, x{1},x{2},...]$ [^2]:X從1開始的原因是：線性擬合的的一個參數是$1*\theta$
$\theta^{T}x = \sum_{i=0}\theta_{i}x_{i}$ (x0=1)

【實驗】2.1 使用邏輯函數 完成對購車的預測

2. 使用Logit進行預測的模型解釋

1. 損失函數定義

$P(y = 1 | x; \theta) = f(x; \theta) = \frac{1}{1+e^{-\theta^{T}x}}$
損失函數：$J(\theta) = p = -\sum\limits_{n=1}^N[y^{(i)}ln(P(Y = 1|X = x^{(i)}; \theta)+(1-y^{(i)})ln(1-P(Y=1|X=x^{(i)};\theta))]$

2. 損失函數的解釋

對於給定第i個模型的概率，$y^{i}$表示第i個數據爲1，它乘以$ln(P(Y = 1|X = x^{i}; \theta)$表示乘以在參數$\theta$下 $x = x^{(i)}$的條件下 y爲1的概率，如果猜測符合實際，這個值將會=0。同理，右邊$(1-y^{(i)})ln(1-P(Y=1|X=x^{(i)};\theta))]$在預測正確的情況下也會趨於0。故此，損失函數$J(\theta)$較好的表示了預測值和真值的相差程度，因此將至用於度量模型的損失值。

3. 損失函數的特點

損失函數是凸函數，可導
$\triangledown_{\theta}J(\theta) = \sum\limits_{i}x^{(i)}(f(x^{(i)};\theta)-y^{(i)})$

4. 計算方式

1. 隨機初始化
2. 計算梯度
3. 梯度下降

5. Logit函數求梯度

(過程略)關鍵結論如下

1. $f(Z)' = (\frac{1}{1+e^{Z}})' = ...= f(Z)[ 1 - f(Z)]$
2. $l(\theta)=logL(\theta) = log(\prod\limits_{i=0}^ny_{i}P_{i}*\prod\limits_{i=0\equiv0}^n(1-y_{i})(1-P_{i}))$
3. $\frac{dln(\theta)}{d\theta}=\sum\limits_{i=1}^N(y_i - P_i)x_i$
4. $log(L(\theta))$爲期望，我們需要最大化期望，這需要梯度上升法。爲滿足一般使用梯度下降法的習慣，故取$loss(\theta)=-l(\theta)$。由此，對loss求$\theta$求導就爲$\frac{\partial loss(\theta))}{\partial \theta} = \sum\limits_{i=1}^N(P_i-y_i)x$
   【實驗2.2 使用Logit模型來對垃圾短信進行分類】