最小二乘法理論、推導、算法
author@jason_ql
http://blog.csdn.net/lql0716
1、引言
假定x , y 有如下數值：
y | 1.00 | 0.90 | 0.90 | 0.81 | 0.60 | 0.56 | 0.35
x | 3.60 | 3.70 | 3.80 | 3.90 | 4.00 | 4.10 | 4.20
解：將這些數值畫圖可以看出接近一條直線，故用y=ax+b 表示，故將上面的數值代入表達式有：
3.6a+b−1.00=03.7a+b−0.90=03.8a+b−0.90=03.9a+b−0.81=04.0a+b−0.60=04.1a+b−0.56=04.2a+b−0.35=0
由於直線只有兩個未知數a , b ，理論上只需要兩個方程就能求得，但是實際上是不可能的，因爲所有點並沒有真正的在同一條直線上，即不可能所有的數值都滿足
ax+b−y＝0
，故只需找到一對兒
a 、
b ，使得誤差平方和
∑(axi+b−yi)2=(ax0+b−y0)2+(ax1+b−y1)2+......+(axn+b−yn)2
最小即可。
誤差的平方即二乘方，故成爲最小二乘法。
2、最小二乘法理論（使得平方和最小）
2.1 數學理論推導
⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪a11x1+a12x2+...+a1sxs−b1=0,a21x1+a22x2+...+a2sxs−b2=0,......an1x1+an2x2+...+ansxs−bn=0, (1)
該方程組可能無解，即任何一組x1,x2,...,xs （這裏爲係數）都可能使得
∑i=1n(ai1x1+ai2x2+...+aisxs−bi)2(2)
不等於零。所以找到一組x1,x2,...,xs 使得(2)式最小，稱這樣的解爲最小二乘解，這種問題就叫最小二乘方問題。
對於（１）式，我們可以用矩陣來表示，
自變量矩陣A :
A=⎡⎣⎢⎢⎢a11a21.an1a12a22.an2..........a1sa2s.ans⎤⎦⎥⎥⎥(3)
函數值B :
B=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢b1b2...bn⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥(4)
係數X :
X=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢x1x2...xs⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥(5)
函數值Y :
Y=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢∑j=1sa1jxj∑j=1sa2jxj...∑j=1sanjxj⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥=AX(4)
故（２）式等價於：
|Y−B|2=|AX−B|2=∑i=1n(ai1x1+ai2x2+...+aisxs−bi)2
也就是說，最小二乘法就是找x1,x2,...,xs 使得Y 與B 的距離最短。
對於（4）式Y ，可以寫爲如下形式：
Y=x1⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢a11a21...an1⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥+x2⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢a12a22...an2⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥+...+xs⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢a1sa2s...ans⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥=x1α1+x2α2+...+xsαs(5)
其中αi 爲對應的列向量，由αi 生成的子空間爲L(α1,α2,...,αs) ,那麼Y 就是L(α1,α2,...,αs) 中的向量，故最小二乘法問題可敘述成：
找X 使得（2）式最小，就是在L(α1,α2,...,αs) 中找一向量Y 使得B 到它的距離比到子空間L(α1,α2,...,αs) 中其它向量的距離都短。
設Y=AX=x1α1+x2α2+...+xsαs ，則
C=B−Y=B−AX
必須垂直於子空間L(α1,α2,...,αs) ，故有
(C,α1)=(C,α2)=...=(C,αs)=0
由向量內積的定義可知：
α′1C=0,α′2C=0,...,α′sC=0(6)
向量的內積：
α=(a1,a2,...,an) ,
β=(b1,b2,...,bn) ,
則α 和β 的內積爲：(α,β)=a1b1+a2b2+...+anbn
由（6）式可得：
A′C=0
即：
A′C=A′(B−Y)=A′(B−AX)=0
從而有：
A′B−A′AX=0
A′B=A′AX
X=(A′A)−1A′B
其中|A′A|≠0
2.2 常見形式
2.2.1 理論
根據2.1節，可以得出以下形式(s+1≤n ):
⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪a1x11+a2x12+...+asx1s+b−y1=0,a1x21+a2x22+...+asx2s+b−y2=0,......a1xn1+a2xn2+...+asxns+b−yn=0, (2.2.1)
這裏是常見的方程表示形式aj 爲係數，b 爲常數項,xij 爲自變量，yi 爲函數值。一般我們解方程都是根據aj 和b 求得yi=a1xi1+a2xi2+...+asxis+b ，但在解決實際問題時，一般我們都是知道xij 和yi ，需要反過來求解aj 和b 。
根據（2.2.1）式，設：
X=⎡⎣⎢⎢⎢x11x21.xn1x12x22.xn2..........x1sx2s.xns1111⎤⎦⎥⎥⎥
a=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢a1a2...asb⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥
y=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢y1y2...yn⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥
那麼：
Xa=y
X′Xa=X′y
a=(X′X)−1X′y
2.2.2 算法
1、輸入X ，y
2、求a=(X′X)−1X′y
參考
《高等代數》北大三版
乾貨分享
