文章内容

本文主要介绍最小二乘法和最佳平方逼近的算法思想，并没有进行严格的数学证明和数学推导。如果仅仅是想要了解该算法的大致思路，那么本文非常适合你。

最小二乘法和最佳平方逼近可以说是一回事，最小二乘法主要用于离散型变量，而最佳平方逼近用于的是连续型变量。

目的都是一样，为了用一个新的函数“近似”模拟出原本的数值。

离散型：如x={1,2,3,4,5,}变量是可以穷举的，也就是有限个。

连续型：如x={x|0<x<5}变量是不可以穷举的，也就无数个。

最小二乘法：

在高中阶段，物理教材中有不少的画图题，记得当初最开始的时候是学习速度、位移、加速度这几个知识点。其中，有一种类型的题目，是给出若干数据，要求描出座标点，并且在x、y轴上作图。记得做这类型的题，方法是->“让尽可能多的点落在同一直线上.让其余的点落在直线的两侧.误差较大的点舍弃”，如小车的匀加速实验、验证牛顿第二定律、探究胡克定律等等。

如果遇到是非直线，则是“用一条光滑的曲线”连接点。如下座标点，显然，用“让尽可能多的点落在同一直线上.让其余的点落在直线的两侧.误差较大的点舍弃”的方法，“近似”出来的新函数为y=x

但是，这毕竟是人工画出来的，如果点数量多的话，麻烦不说，怎么确定让尽可能多的点在直线上呢，怎么才叫“其余

的点落在直线的两侧”

为了解决这个问题，出现了最小二乘法。

最小二乘法就是用于曲线拟合，说白了就是找一个近似的新函数S*，使得每个xi对应的yi值，有Σ（S*-y）^2最小。

在图中，就是令（L1^2+L2^2+L3^2+L4^2+L5^2+L6^2）最小。（当然，我们现在还不知道y=x，我们的目的就是找

一个新函数y，让Σ（S*-y）^2最小）、（图中的L3和L6为0，没有画出来）

这就是最小二乘法的算法思想。当然，他不仅仅可以用于一次方程，还可以用于任意方程，

最佳平方逼近：

最佳平方逼近也最小二乘法类似，只是有离散型变成连续型。最小二乘法是离散型，通过求和得到最小误差的那个新函数就是我们要的。而最佳平方逼近是连续型，连续型的求和，显然就是求积分。试想一下，有一些离散点，这些离散点非常的多，而且都聚集在一个区域，如（1,2），那么这么非常多的点的求和，显然就是求积分。

比如有一个函数y=x^3，x∈【-1,1】，现在我要找一个新的二次函数S*，“近似”等于y=x^3，，使得在【-1,1】上，||S*-y|| $_{2}^{2}$ 最小。也就是说找到一个新的函数S*=a $_{0}$ +a $_{1}$ x+a $_{2}$ ×x^2，最“近似”y=x^3，这里的近似就是||S*-y|| $_{2}^{2}$ 最小，最小二乘法相似，但是这里用的是积分最小。