機器學習系列之最小二乘法

最小二乘法

最小二乘法，又稱最小平方法，是機器學習中基礎的算法之一，它是一種優化算法，通過最小化誤差的平方來尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據，並使得這些求得的數據與實際數據之間誤差的平方和爲最小。在機器學習中，還可以使用最小二乘法來進行曲線擬合。

上圖介紹的上海市長寧區部分房價的信息，從散點圖可以發現，房子的大小和房價彼此之間有一些依賴關係，由房子大小可以決定房子的價格，但是這種關係又是不確定的，這時候我們可以利用統計學中的迴歸模型來尋找這兩個變量之間的關係。具體步驟如下：

1. 畫散點圖，直觀判斷；
2. 用近似模型來描述它們的關係，如一元線性模型；
3. 建立迴歸模型；
4. 對模型進行參數估計，最小二乘法是這些參數估計的一種常用的方法，這也是本篇博文講述的重點；
5. 討論模型的效果；

爲了描述簡單，本篇文章將採用一元線性模型（Y=w0+w1X ）建立迴歸模型來介紹最小二乘法。

Yi^=w0+w1Xi（式1−1）

其中，Yi^ 是根據迴歸模型求得的值，則Yi 和Yi^ 的差就是該模型的誤差。則平方損失函數爲：

S=∑i=1n(Yi−Yi^)2=∑i=1n(Yi−w0−w1Xi)2（式1−2）

分別對w0,w1 求偏導得：

∂S∂w0=−2∑i=1n(Yi−w0−w1Xi)（式1−3）

∂S∂w1=−2∑i=1n(Yi−w0−w1Xi)(−Xi)（式1−4）

根據我們的數學知識，函數的極值點爲偏導數爲0的點。即

∂S∂w0=0（式1−5）

∂S∂w1=0（式1−6）

亦即

nw0+∑i=1n(Xi)w1=∑i=1nYi（式1−7）

∑i=1n(Xi)w0+(∑i=1nx2i)w1)=∑i=1n(XiYi)（式1−8）

對式1-7和式1-8求解得：

w0=∑ni=1Yin−w1∑ni=1Xin（式1−9）

w1=[n∑ni=1XiYi−(∑ni=1Xi∑ni=1Yi)n∑ni=1X2i−(∑ni=1Xi)2（式1−10）

此時,把w0,w1 帶入式1-1，就是我們要求的迴歸模型。