知識點：
- 線性迴歸概念
- 梯度下降算法
l 批量梯度下降算法
l 隨機梯度下降算法
l 算法收斂判斷方法
1.1 線性迴歸
在統計學中，線性迴歸(Linear Regression)是利用稱爲線性迴歸方程的最小平方函數對一個或多個自變量和因變量之間關係進行建模的一種迴歸分析。這種函數是一個或多個稱爲迴歸係數的模型參數的線性組合。
迴歸分析中，只包括一個自變量和一個因變量，且二者的關係可用一條直線近似表示，這種迴歸分析稱爲一元線性迴歸分析。如果迴歸分析中包括兩個或兩個以上的自變量，且因變量和自變量之間是線性關係，則稱爲多元線性迴歸分析。
下面我們來舉例何爲一元線性迴歸分析，圖1爲某地區的房屋面積(feet)與價格($)的一個數據集，在該數據集中，只有一個自變量面積(feet)，和一個因變量價格($)，所以我們可以將數據集呈現在二維空間上，如圖2所示。利用該數據集，我們的目的是訓練一個線性方程，無限逼近所有數據點，然後利用該方程與給定的某一自變量（本例中爲面積），可以預測因變量（本例中爲房價）。本例中，訓練所得的線性方程如圖3所示。
圖1、房價與面積對應數據集
圖2、二維空間上的房價與面積對應圖
圖3、線性逼近
同時，分析得到的線性方程爲：
接下來還是該案例，舉一個多元線性迴歸的例子。如果增添了一個自變量：房間數，那麼數據集可以如下所示：
圖4、房價與面積、房間數對應數據集
那麼，分析得到的線性方程應如下所示：
因此，無論是一元線性方程還是多元線性方程，可統一寫成如下的格式：
上式中x0=1，而求線性方程則演變成了求方程的參數ΘT。
線性迴歸假設特徵和結果滿足線性關係。其實線性關係的表達能力非常強大，每個特徵對結果的影響強弱可以有前面的參數體現，而且每個特徵變量可以首先映射到一個函數，然後再參與線性計算，這樣就可以表達特徵與結果之間的非線性關係。
1.2 梯度下降算法
爲了得到目標線性方程，我們只需確定公式（3）中的ΘT，同時爲了確定所選定的的ΘT效果好壞，通常情況下，我們使用一個損失函數(loss function)或者說是錯誤函數(error function)來評估h(x)函數的好壞。該錯誤函數如公式(4)所示。
如何調整ΘT以使得J(Θ)取得最小值有很多方法，其中有完全用數學描述的最小二乘法(min square)和梯度下降法。
1.2.1 批量梯度下降算法
由之前所述，求ΘT的問題演變成了求J(Θ)的極小值問題，這裏使用梯度下降法。而梯度下降法中的梯度方向由J(Θ)對Θ的偏導數確定，由於求的是極小值，因此梯度方向是偏導數的反方向。
公式(5)中α爲學習速率，當α過大時，有可能越過最小值，而α當過小時，容易造成迭代次數較多，收斂速度較慢。假如數據集中只有一條樣本，那麼樣本數量，所以公式(5)中
所以公式(5)就演變成：
當樣本數量m不爲1時，將公式(5)中
由公式(4)帶入求偏導，那麼每個參數沿梯度方向的變化值由公式(7)求得。
初始時ΘT可設爲
，然後迭代使用公式(7)計算ΘT中的每個參數，直至收斂爲止。由於每次迭代計算ΘT時，都使用了整個樣本集，因此我們稱該梯度下降算法爲批量梯度下降算法(batch gradient descent)。
1.2.2 隨機梯度下降算法
當樣本集數據量m很大時，批量梯度下降算法每迭代一次的複雜度爲O(mn),複雜度很高。因此，爲了減少複雜度，當m很大時，我們更多時候使用隨機梯度下降算法(stochastic gradient descent),算法如下所示：
即每讀取一條樣本，就迭代對ΘT進行更新，然後判斷其是否收斂，若沒收斂，則繼續讀取樣本進行處理，如果所有樣本都讀取完畢了，則循環重新從頭開始讀取樣本進行處理。
這樣迭代一次的算法複雜度爲O(n)。對於大數據集，很有可能只需讀取一小部分數據，函數J(Θ)就收斂了。比如樣本集數據量爲100萬，有可能讀取幾千條或幾萬條時，函數就達到了收斂值。所以當數據量很大時，更傾向於選擇隨機梯度下降算法。
但是，相較於批量梯度下降算法而言，隨機梯度下降算法使得J(Θ)趨近於最小值的速度更快，但是有可能造成永遠不可能收斂於最小值，有可能一直會在最小值周圍震盪，但是實踐中，大部分值都能夠接近於最小值，效果也都還不錯。
1.2.3 算法收斂判斷方法
- 參數ΘT的變化距離爲0，或者說變化距離小於某一閾值（ΘT中每個參數的變化絕對值都小於一個閾值）。爲減少計算複雜度，該方法更爲推薦使用。
- J(Θ)不再變化，或者說變化程度小於某一閾值。計算複雜度較高，但是如果爲了精確程度，那麼該方法更爲推薦使用。