Coursea-吳恩達-machine learning學習筆記（二）【week 1之Linear Regression with One Variable】

線性迴歸算法中特定的符號表示：
m$m$ ：表示訓練樣本的數目；
x$x$ ：表示輸入的特徵；
y$y$ ：表示輸出變量或目標變量；
(x,y)$(x,y)$ ：表示一個訓練樣本；
(x(i),y(i))$(x^{(i)},y^{(i)})$ ：表示第i$i$ 個訓練樣本；
h$h$ ：表示假設函數，表示從x$x$ 到y$y$ 的函數映射；

單變量的線性迴歸模型：hθ(x)=θ0+θ1x$h_{\theta }(x)={\theta }_0+{\theta }_{1}x$ ；
其中，θ0,θ1${\theta }_0,{\theta }_1$ 爲模型參數；

線性迴歸算法的目標爲選擇θ0,θ1${\theta }_0,{\theta }_1$ ，使hθ(x)$h_{\theta }(x)$ 最接近樣本對應的y$y$ 值，即尋找θ0θ1${\theta }_0{\theta }_1$ ，使

12m∑i=1m(hθ(x(i))−y(i))2最小。$$\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2最小。$$

12m∑i=1m(hθ(x(i))−y(i))2$\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$ 表示平均誤差，其中，12$\frac{1}{2}$ 是爲了方便後續梯度下降算法的計算。

引入代價函數的概念：

J(θ0,θ1)=12m∑i=1m(hθ(x(i))−y(i))2$$J({\theta }_0,{\theta }_1)=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$

代價函數也稱平方誤差函數或平方誤差代價函數，爲了評價hθ(x)$h_{\theta }(x)$ 的準確性，算法的目的是讓J(θ0,θ1)$J({\theta }_0,{\theta }_1)$ 儘可能小。

平方誤差代價函數是解決迴歸問題最常用的手段。

算法簡化：
令θ0=0${\theta }_0=0$ ，則hθ(x)=θ1x$h_{\theta }(x)={\theta }_{1}x$ ，模型參數只剩下θ1${\theta }_1$ ，代價函數變爲

J(θ1)=12m∑i=1m(hθ(x(i))−y(i))2$$J({\theta }_1)=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$

算法目標變爲求

minθ1J(θ1)$$\underset{{\theta }_1}{min}J({\theta }_1)$$

帶入訓練集樣本數據，發現J(θ1)$J({\theta }_1)$ 是一個下凸曲線，找到令J(θ1)$J({\theta }_1)$ 取值最小的θ1${\theta }_1$ 。

J(θ1,θ0)$J({\theta }_1,{\theta }_0)$ 同理，可用輪廓圖表示：

梯度下降算法：可以使代價函數最小化。
算法定義：
repeat until convergence{

θj:=θj−α∂∂θjJ(θ0,θ1)(for j=0 and j=1)$${\theta }_j:={\theta }_j-\alpha \frac{\mathrm{\partial }}{\mathrm{\partial }{\theta }_j}J({\theta }_0,{\theta }_1)(forj=0andj=1)$$

}
：=爲賦值運算符；
α$\alpha$ 爲一個數字，稱爲學習速率，控制梯度下降步幅。

θ0,θ1${\theta }_0,{\theta }_1$ 正確的更新方法：
temp0:=θ0−α∂∂θ0J(θ0,θ1)$temp0:={\theta }_0-\alpha \frac{\mathrm{\partial }}{\mathrm{\partial }{\theta }_0}J({\theta }_0,{\theta }_1)$
temp1:=θ1−α∂∂θ1J(θ0,θ1)$temp1:={\theta }_1-\alpha \frac{\mathrm{\partial }}{\mathrm{\partial }{\theta }_1}J({\theta }_0,{\theta }_1)$
θ0:=temp0${\theta }_0:=temp0$
θ1:=temp1${\theta }_1:=temp1$
θ0,θ1${\theta }_0,{\theta }_1$ 要同時更新。

通常將θ0,θ1${\theta }_0,{\theta }_1$ 均初始化爲0。

注：∂∂x$\frac{\mathrm{\partial }}{\mathrm{\partial }x}$ 爲偏導數符號，ddx$\frac{\mathrm{d}}{\mathrm{d}x}$ 爲導數符號

梯度下降算法中，若α$\alpha$ 的值取得太小，梯度下降過於緩慢；若α$\alpha$ 的值取得太大，可能導致無法收斂，甚至發散。
在梯度下降法中，當我們接近局部最低點時，梯度下降法會自動採取更小幅度，因爲當接近局部最低點時，∂∂θjJ(θ0,θ1)$\frac{\mathrm{\partial }}{\mathrm{\partial }{\theta }_j}J({\theta }_0,{\theta }_1)$ 導數值自動變得越來越小。

線性迴歸算法的梯度下降：
∂∂θjJ(θ0,θ1)=∂∂θj12m∑i=1m(hθ(x(i))−y(i))2=∂∂θj12m∑i=1m(θ0+θ1x(i)−y(i))2$\begin{array}{ccccc}\frac{\mathrm{\partial }}{\mathrm{\partial }{\theta }_j}J({\theta }_0,{\theta }_1)& =& \frac{\mathrm{\partial }}{\mathrm{\partial }{\theta }_j}\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2& =& \frac{\mathrm{\partial }}{\mathrm{\partial }{\theta }_j}\frac{1}{2m}\sum _{i=1}^m({\theta }_0+{\theta }_1{x}^{(i)}-y^{(i)}{)}^2\end{array}$
j=0時：∂∂θ0J(θ0,θ1)=1m∑i=1m(hθ(x(i))−y(i))=1m∑i=1m(θ0+θ1x(i)−y(i))$\begin{array}{ccccc}j=0時：\frac{\mathrm{\partial }}{\mathrm{\partial }{\theta }_0}J({\theta }_0,{\theta }_1)& =& \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})& =& \frac{1}{m}\sum _{i=1}^m({\theta }_0+{\theta }_1{x}^{(i)}-y^{(i)})\end{array}$
j=1時：∂∂θ1J(θ0,θ1)=1m∑i=1m(hθ(x(i))−y(i))x(i)=1m∑i=1m(θ0+θ1x(i)−y(i))x(i)$\begin{array}{ccccc}j=1時：\frac{\mathrm{\partial }}{\mathrm{\partial }{\theta }_1}J({\theta }_0,{\theta }_1)& =& \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x^{(i)}& =& \frac{1}{m}\sum _{i=1}^m({\theta }_0+{\theta }_1{x}^{(i)}-y^{(i)})x^{(i)}\end{array}$
即：
repeat until convergence{

θ0:θ1:==θ0−α1m∑i=1m(hθ(x(i))−y(i))θ1−α1m∑i=1m(hθ(x(i))−y(i))x(i)θ0,θ1同時更新$$\begin{array}{ccc}{\theta }_0:& =& {\theta }_0-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})\\ {\theta }_1:& =& {\theta }_1-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x^{(i)}\end{array}{\theta }_0,{\theta }_1同時更新$$

}

批量梯度下降法(Batch Gradient Descent)：梯度下降法最常用的形式，具體做法是在更新參數時使用所有的樣本來進行更新。