最小二乘法的原理及實現

最近需要用到最小二乘法，儘管一直知道通過matlab直接就能實現，但是具體做法以及推導過程不清楚，心虛，以此博文記錄一下。

迴歸分析稱爲一元線性迴歸分析。如果迴歸分析中包括兩個或兩個以上的自變量，且因變量和自變量之間是線性關係，則稱爲多元線性迴歸分析。對於二維空間線性是一條直線；對於三維空間線性是一個平面，對於多維空間線性是一個超平面。 [4] 

最常用的是普通最小二乘法（ Ordinary Least Square，OLS）：所選擇的迴歸模型應該使所有觀察值的殘差平方和達到最小。（Q爲殘差平方和）- 即採用平方損失函數。

步驟：

1、樣本回歸模型：

2、平方損失函數

 

3、 Q對兩個待估參數的偏導數

 

4、解方程

求得使平方損失函數取得極值點的那兩個係數。這是一次線性迴歸問題。

 

使用向量表示OLS（Ordinary Least Square, 普通最小二乘法），則有：

XTXβ=XTy

也即：
β=(XTX)-1XTy

其中是最小二乘估計的線性迴歸係數。

也就是說，通過原始的散點（Xi,Yi），計算得到的是係數向量 ，再進行計算時，使用向量 與X相乘，即可得到Y。

最小二乘法在OMP稀疏恢復算法中有用到。