今天突然想搞清楚这个问题，遂搜索了一下，现总结如下。
这一概念的英文是“regression”，是由高尔顿（Galton）在1886年的论文Regression towards Mediocrity in Hereditary Stature中提出的。论文基于对父亲和儿子身高的研究，发现子辈的平均身高是父辈平均身高与父辈所在族群的平均身高的加权平均和。
子辈的平均身高 = 父辈平均身高 * 权重1 + 父辈所在族群的平均身高 * 权重2
发展至今，更多地理解为“回归”于期望值（expected value）。多次重复实验得到的结果的平均值一般认为趋近于expected value，这样的估计过程可以理解为“回归”，多个实际值将回归于一个预测值。
残差zi = 实际值Yi - 预测值Y
残差表示实际值偏离预测值的大小，zi的平方和越小，说明拟和效果越好，回归效果越好。与最小二乘法的原理类似。