Coursea-吳恩達-machine learning學習筆記（六）【week 3之Logistic Regression】

二元分類問題：

y∈{0,1}{0:1:Negative ClassPositive Class$$y\in \text{{0,1}}\{\begin{array}{ll}0:& \text{Negative Class}\\ 1:& \text{Positive Class}\end{array}$$

將線性迴歸應用於二元分類問題：
假設函數：hθ(x)=θTx$h_{\theta }(x)={\theta }^{T}x$ 分類器閾值輸出hθ(x)$h_{\theta }(x)$ 爲0.5$0.5$
若hθ(x)≥0.5$h_{\theta }(x)\ge 0.5$ ，預測y=1$y=1$ ；
若hθ(x)<0.5$h_{\theta }(x)<0.5$ ，預測y=0$y=0$ 。

對於分類問題來說，y=0 or 1$y=0or1$ ，但是對於hθ(x)$h_{\theta }(x)$ ，可以>1 or <0$>1or<0$ 。

由於我們希望0≤hθ(x)≤1$0\le h_{\theta }(x)\le 1$ ，故引入邏輯迴歸算法：
(注：忽略離散值，可以使用迴歸算法)

假設函數：

hθ(x)=g(θTx)$$h_{\theta }(x)=g({\theta }^{T}x)$$

g$g$ 函數爲

g(z)=11+e−z$$g(z)=\frac{1}{1+e^{-z}}$$

稱爲Sigmoid$Sigmoid$ 函數或邏輯函數
故邏輯迴歸算法的假設函數爲

hθ(x)=11+e−θTx$$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$

hθ(x)$h_{\theta }(x)$ 用來估計基於輸入特徵值x$x$ ，y=1$y=1$ 的可能性。
正式寫法：

hθ(x)=P(y=1|x;θ)=1−P(y=0|x;θ)$$h_{\theta }(x)=P(y=1|x;\theta )=1-P(y=0|x;\theta )$$

邏輯迴歸算法的決策邊界：

hθ(x)=0.5或z=0$$h_{\theta }(x)=0.5或z=0$$

當hθ(x)≥0.5 or z≥0$h_{\theta }(x)\ge 0.5orz\ge 0$ 時，y=1$y=1$ ；
當hθ(x)<0.5 or z<0$h_{\theta }(x)<0.5orz<0$ 時，y=0$y=0$ 。

若存在訓練集：{(x(1),y(1)),(x(2),y(2)),⋯,(x(m),y(m))}$\{(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),\cdots ,(x^{(m)},y^{(m)})\}$
其中，

x∈⎡⎣⎢⎢⎢x0x1⋯xn⎤⎦⎥⎥⎥x0=1,y∈{0,1}$$x\in \left[\begin{array}{c}{x}_0\\ x_1\\ \cdots \\ x_n\end{array}\right]x_0=1,y\in \{0,1\}$$

假設函數爲：

hθ(x)=11+e−θTx$$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$

則邏輯迴歸的代價函數爲：

J(θ)=1m∑i=1mCost(hθ(x(i)),y(i))$$J(\theta )=\frac{1}{m}\sum _{i=1}^{m}Cost(h_{\theta }(x^{(i)}),y^{(i)})$$

其中：

Cost(hθ(x),y)={−log(hθ(x))−log(1−hθ(x))if y=1if y=0$$Cost(h_{\theta }(x),y)=\{\begin{array}{ll}-log(h_{\theta }(x))& ify=1\\ -log(1-h_{\theta }(x))& ify=0\end{array}$$

當y=1$y=1$ 時，若hθ(x)=1$h_{\theta }(x)=1$ ，則Cost=0$Cost=0$ ，若hθ(x)=0$h_{\theta }(x)=0$ ，則Cost→∞$Cost\to \mathrm{\infty }$ ；
當y=0$y=0$ 時，若hθ(x)=0$h_{\theta }(x)=0$ ，則Cost=0$Cost=0$ ，若hθ(x)=1$h_{\theta }(x)=1$ ，則Cost→∞$Cost\to \mathrm{\infty }$ 。

將Cost(hθ(x),y)$Cost(h_{\theta }(x),y)$ 簡化可得：

Cost(hθ(x),y)=−ylog(hθ(x))−(1−y)log(1−hθ(x))$$Cost(h_{\theta }(x),y)=-ylog(h_{\theta }(x))-(1-y)log(1-h_{\theta }(x))$$

則代價函數爲：

J(θ)==1m∑mi=1Cost(hθ(x(i)),y(i))−1m[∑mi=1y(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i)))]$$\begin{array}{}J(\theta )& =& \frac{1}{m}\sum _{i=1}^{m}Cost(h_{\theta }(x^{(i)}),y^{(i)})\\ & =& -\frac{1}{m}[\sum _{i=1}^m{y}^{(i)}log(h_{\theta }(x^{(i)}))+(1-y^{(i)})log(1-h_{\theta }(x^{(i)}))]\end{array}$$

向量化表示則爲：

h=g(Xθ)$$h=g(X\theta )$$

J(θ)=1m(−yTlog(h)−(1−y)Tlog(1−h))$$J(\theta )=\frac{1}{m}(-y^{T}log(h)-(1-y{)}^{T}log(1-h))$$

梯度下降法求θ$\theta$ ：
Repeat {

θj:=θj−α∂∂θjJ(θ)(θj同時更新)$${\theta }_j:={\theta }_j-\alpha \frac{\mathrm{\partial }}{\mathrm{\partial }{\theta }_j}J(\theta )({\theta }_j同時更新)$$

}
即：
Repeat {

θj:=θj−α1m∑i=1m(hθ(x(i))−y(i))x(i)j(θj同時更新)$${\theta }_j:={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}({\theta }_j同時更新)$$

}
向量化表示則爲：

θ:=θ−αmXT(g(Xθ)−y)$$\theta :=\theta -\frac{\alpha }{m}{X}^T(g(X\theta )-y)$$

利用梯度下降法最小化J(θ)$J(\theta )$ ，須計算的是J(θ)$J(\theta )$ 及∂∂θjJ(θ)$\frac{\mathrm{\partial }}{\mathrm{\partial }{\theta }_j}J(\theta )$ 。
除了梯度下降法外，還有其他方法計算θ$\theta$ ：

• 共軛梯度法；
• BFGS$BFGS$ (變長度法)
• L$L$ -BFGS$BFGS$ (限制尺度法)

這三種方法的優點：

1. 不需要手動選擇學習速率α$\alpha$ ；
2. 收斂得比梯度下降法更快。

缺點：更加複雜。

舉例：θ=[θ1θ2]$\theta =\left[\begin{array}{c}{\theta }_1\\ {\theta }_2\end{array}\right]$
J(θ)=(θ1−5)2+(θ2−5)2$J(\theta )=({\theta }_1-5{)}^2+({\theta }_2-5{)}^2$
∂∂θ1J(θ)=2∗(θ1−5)$\frac{\mathrm{\partial }}{\mathrm{\partial }{\theta }_1}J(\theta )=2\ast ({\theta }_1-5)$
∂∂θ2J(θ)=2∗(θ2−5)$\frac{\mathrm{\partial }}{\mathrm{\partial }{\theta }_2}J(\theta )=2\ast ({\theta }_2-5)$
實現方法如下：

function[jVal,gradient]=costFunction(theta)

jVal=(theta(1)-5)^2+(theta(2)-5)^2;
gradient=zeros(2,1);
gradient(1)=2*(theta(1)-5);
gradient(2)=2*(theta(2)-5);

options=optimset('Gradobj','on','MaxIter','100');
initialTheta=zeros(2,1);
[OptTheta,functionVal,exitFlag]=fminunc(@costFunction,initialTheta,options);

利用梯度下降法求J(θ)$J(\theta )$ 及∂∂θjJ(θ)$\frac{\mathrm{\partial }}{\mathrm{\partial }{\theta }_j}J(\theta )$ 的一般程序模板：
theta=⎡⎣⎢⎢⎢⎢θ0θ1⋮θn⎤⎦⎥⎥⎥⎥$theta=\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ ⋮\\ {\theta }_n\end{array}\right]$

function[jVal,gradient]=costFunction(theta)$function[jVal,gradient]=costFunction(theta)$

jVal=[code to computeJ(θ)]$jVal=[codetocomputeJ(\theta )]$
gradient(1)=[code to compute ∂∂θ0J(θ)]$gradient(1)=[codetocompute\frac{\mathrm{\partial }}{\mathrm{\partial }{\theta }_0}J(\theta )]$
gradient(2)=[code to compute ∂∂θ1J(θ)]$gradient(2)=[codetocompute\frac{\mathrm{\partial }}{\mathrm{\partial }{\theta }_1}J(\theta )]$
⋮$⋮$
gradient(n+1)=[code to compute ∂∂θnJ(θ)]$gradient(n+1)=[codetocompute\frac{\mathrm{\partial }}{\mathrm{\partial }{\theta }_n}J(\theta )]$

對於多元分類問題，可將其拆解爲多個二元分類問題。
即：

h(i)θ=P(y=i|x;θ)(i=1,2,⋯,n)$$h_{\theta }^{(i)}=P(y=i|x;\theta )(i=1,2,\cdots ,n)$$

prediction=max h(i)θ(x)$$prediction=max{h}_{\theta }^{(i)}(x)$$