文章內容

本文主要介紹最小二乘法和最佳平方逼近的算法思想，並沒有進行嚴格的數學證明和數學推導。如果僅僅是想要了解該算法的大致思路，那麼本文非常適合你。

最小二乘法和最佳平方逼近可以說是一回事，最小二乘法主要用於離散型變量，而最佳平方逼近用於的是連續型變量。

目的都是一樣，爲了用一個新的函數“近似”模擬出原本的數值。

離散型：如x={1,2,3,4,5,}變量是可以窮舉的，也就是有限個。

連續型：如x={x|0<x<5}變量是不可以窮舉的，也就無數個。

最小二乘法：

在高中階段，物理教材中有不少的畫圖題，記得當初最開始的時候是學習速度、位移、加速度這幾個知識點。其中，有一種類型的題目，是給出若干數據，要求描出座標點，並且在x、y軸上作圖。記得做這類型的題，方法是->“讓儘可能多的點落在同一直線上.讓其餘的點落在直線的兩側.誤差較大的點捨棄”，如小車的勻加速實驗、驗證牛頓第二定律、探究胡克定律等等。

如果遇到是非直線，則是“用一條光滑的曲線”連接點。如下座標點，顯然，用“讓儘可能多的點落在同一直線上.讓其餘的點落在直線的兩側.誤差較大的點捨棄”的方法，“近似”出來的新函數爲y=x

但是，這畢竟是人工畫出來的，如果點數量多的話，麻煩不說，怎麼確定讓儘可能多的點在直線上呢，怎麼才叫“其餘

的點落在直線的兩側”

爲了解決這個問題，出現了最小二乘法。

最小二乘法就是用於曲線擬合，說白了就是找一個近似的新函數S*，使得每個xi對應的yi值，有Σ（S*-y）^2最小。

在圖中，就是令（L1^2+L2^2+L3^2+L4^2+L5^2+L6^2）最小。（當然，我們現在還不知道y=x，我們的目的就是找

一個新函數y，讓Σ（S*-y）^2最小）、（圖中的L3和L6爲0，沒有畫出來）

這就是最小二乘法的算法思想。當然，他不僅僅可以用於一次方程，還可以用於任意方程，

最佳平方逼近：

最佳平方逼近也最小二乘法類似，只是有離散型變成連續型。最小二乘法是離散型，通過求和得到最小誤差的那個新函數就是我們要的。而最佳平方逼近是連續型，連續型的求和，顯然就是求積分。試想一下，有一些離散點，這些離散點非常的多，而且都聚集在一個區域，如（1,2），那麼這麼非常多的點的求和，顯然就是求積分。

比如有一個函數y=x^3，x∈【-1,1】，現在我要找一個新的二次函數S*，“近似”等於y=x^3，，使得在【-1,1】上，||S*-y|| $_{2}^{2}$ 最小。也就是說找到一個新的函數S*=a $_{0}$ +a $_{1}$ x+a $_{2}$ ×x^2，最“近似”y=x^3，這裏的近似就是||S*-y|| $_{2}^{2}$ 最小，最小二乘法相似，但是這裏用的是積分最小。