目錄
線性迴歸是最爲簡單、易用的迴歸模型。從某種程度上限制了使用，儘管如此，在不知道特徵之間關係的前提下，我們仍然使用線性迴歸器作爲大多數系統的首要選擇。
1.定義
迴歸：目標值是連續值；分類：目標值是離散值。
線性迴歸：通過一個或者多個自變量(特徵)與因變量(目標值)之間進行建模的迴歸分析。其中特點爲一個或多個稱爲迴歸係數的模型參數的線性組合。
一元線性迴歸：涉及到的變量(特徵)只有一個
多元線性迴歸：涉及到的變量(特徵)有兩個或兩個以上
2.求解
目的是求得模型當中的w和b，使得損失函數最小。
有兩種解決辦法：正規方程和梯度下降。
正規方程：當
滿秩時，可以求解。（參考西瓜書第三章線性模型）
梯度下降：批量梯度下降、小批量梯度下降、隨機梯度下降。（有時間的話將求解過程貼出來）
2.正則化
其中，α是正則化係數，它控制正則化項的佔比，這個值很關鍵。α的初始值建議設置爲0，在確定了learning rate後再進一步確定α的值。首先粗調節（如每次增大或減少10倍）將預測準確率控制在一個較滿意的水平後再進行α值的細調節（假設粗調節α確定在0.01到0.1之間，細調節則0.01, 0.02……如此細微調節）至預測最佳。目前，訓練過程中使用梯度遞減的學習率是一個很常見的方法。
1.2.1 嶺迴歸
嶺迴歸是在損失函數中加入L2範數懲罰項，控制模型複雜度，從而使模型穩健。
1.2.2 Lasso 迴歸
lasso迴歸和嶺迴歸的區別在於懲罰項是基於L1範數。
1.2.3 ElasticNet迴歸
ElasticNet是對嶺迴歸和Lasso迴歸的融合，在Elastic Net的公式中，參數ρ是Lasso迴歸在ElasticNet中的佔比，1-ρ 則是嶺迴歸在其中的佔比。
3.迴歸性能評估
4.總結
小規模數據：正規方程 LinearRegression。正規方程可能會過擬合，可以用嶺迴歸(Ridge)避免過擬合。
大規模數據：梯度下降 SGDRegressor
參考：1.CSDN學院課程PPT
2.西瓜書第三章線性模型
3.https://blog.csdn.net/houyanhua1/article/details/88032588
4.https://www.cnblogs.com/pinard/p/6004041.html
5.https://blog.csdn.net/Jakob_Hu/article/details/88092123#121__13
6.嶺迴歸等求解參見http://www.cnblogs.com/pinard/p/6018889.html