最小平方法是十九世纪统计学的主题曲,从许多方面来看, 它之于统计学就相当于十八世纪的微积分之于数学。
----史蒂芬·史蒂格勒的《The History of Statistics》
日用而不知
来看一个生活中的例子。比如说，有五把尺子：
用它们来分别测量一线段的长度，得到的数值分别为（颜色指不同的尺子）：
之所以出现不同的值可能因为：
- 不同厂家的尺子的生产精度不同
- 尺子材质不同，热胀冷缩不一样
- 测量的时候心情起伏不定
- ......
总之就是有误差，这种情况下，一般取平均值来作为线段的长度：
日常中就是这么使用的。可是作为很事'er的数学爱好者，自然要想下：
- 这样做有道理吗？
- 用调和平均数行不行？
- 用中位数行不行？
- 用几何平均数行不行？
最小二乘法
换一种思路来思考刚才的问题。
首先，把测试得到的值画在笛卡尔座标系中，分别记作yi
其次，把要猜测的线段长度的真实值用平行于横轴的直线来表示（因为是猜测的，所以用虚线来画），记作y
每个点都向y做垂线，垂线的长度就是|y-yi| ，也可以理解为测量值和真实值之间的误差：
因为误差是长度，还要取绝对值，计算起来麻烦，就干脆用平方来代表误差：
误差的平方和就是ε (error)代表误差：
因为y是猜测的，所以可以不断变换：
自然，误差的平方和在不断变化的。
法国数学家，阿德里安-马里·勒让德（1752－1833，这个头像有点抽象）提出让总的误差的平方最小的y就是真值，这是基于，如果误差是随机的，应该围绕真值上下波动（关于这点可以看下“如何理解无偏估计？”）。
勒让德的想法变成代数式就是：
正好是算术平均数。
原来算术平均数可以让误差最小啊，这下看来选用它显得讲道理了。
就是最小二乘法，所谓“二乘”就是平方的意思，台湾直接翻译为最小平方法。
基本形式
给定由d个属性描述的示例x={x1;x2;...;xd}
，其中xi是x现在第 i个属性上取值，线性模型去学习一个通过属性的线性组合来进行预测的函数，即
一般用向量形式表示更为简洁：
其中，
其实可以很简单的理解，如下图直线是由很多点组成的，如果事先不知道直线的方程，只有一些点，那么根据这些点求得的函数就是这条直线。我们的任务就是根据已知的一些数据求解得到函数。当然这只是一元线性回归，还有多元线性回归与之类似。
回归分析中，如果只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。对于二维空间线性是一条直线；对于三维空间线性是一个平面，对于多维空间线性就是一个超平面。
一元线性回归
给定数据集：
其中，
和
而线性回归视图学得：
, 使得
其实就是找到一个函数使得数据尽可能的在这个函数内。那么如何确定参数w和b呢？
显然，关键在于如何衡量f(xi)与yi之间的差距，我们使用均方误差来进行度量。因此我们将差距最小问题转化为均方误差最小化，即
其中，
分别表示w和 b的解。
在线性回归中，最小二乘法就是试图找到一条直线，使得所有样本到直线上的距离之和最小。
求解w和b使
最小化的过程，称之为线性回归模型的最小二乘法“参数估计”(parameter estimation)。为了得到最小值，我们只需要将函数
求导即可。则
分别对w和b求导，得到：
求得倒数为零的解，即为最优解，则令导数
极值点处的导数一定为0，但导数为0的点不一定是极值点
可得到w和b的最优解分别为：
其中，x的均值为