迴歸算法--線性迴歸算法原理

1.線性迴歸

迴歸一詞最早由英國科學家弗朗西斯·高爾頓（Francis Galton）提出。他發現一個趨勢：父母高，兒女也高；父母矮，兒女也矮。但給定父母的身高，兒女輩的平均身高卻趨向於或者“迴歸”到全體人口的平均身高。換句話說，即使父母雙方都異常高或者異常矮，兒女的身高還是會趨向於人口總體的平均身高。這也就是所謂的普遍迴歸規律。

現代意義上的迴歸分析用來預測兩種兩種以上變量間相互依賴的定量關係。其中被預測的變量叫因變量，被用來進行預測的變量叫自變量。
當自變量與因變量之間存在線性關係時則叫做線性迴歸，按照自變量個數的多少可以將線性迴歸分爲一元線性回顧與多元線性迴歸。以下圖爲例，自變量爲房屋面積，因變量爲房屋價格，通過找到一條直線去擬合數據點的分佈趨勢的過程，就是線性迴歸的過程。

2. 一元線性迴歸

假設一元線性方程爲 y = a x + b (1) y = ax + b\tag{1} y=ax+b(1)

3.多元線性迴歸

4.線性迴歸算法的衡量指標

1. 均方誤差(RSE)
   均方根誤差等於所有預測值與真實值誤差平方和再除以樣本數量。
   

1. 均方根誤差(RMSE)
   均方根誤差等於均方誤差的算術平方根。
   
   
   

2. 平均絕對誤差(MAE)
   平均絕對誤差等於預測值與真實值的誤差絕對值之和再除以樣本數量。
   
   
   

3. R方(R^2)
   
   
   R^2的取值小於等於1。取值越大，迴歸模型擬合的效果越好。取值越小，迴歸模型擬合的效果越差。
   
   
   

參考
https://blog.csdn.net/weixin_42180810/article/details/81266777