今天突然想搞清楚這個問題，遂搜索了一下，現總結如下。
這一概念的英文是“regression”，是由高爾頓（Galton）在1886年的論文Regression towards Mediocrity in Hereditary Stature中提出的。論文基於對父親和兒子身高的研究，發現子輩的平均身高是父輩平均身高與父輩所在族羣的平均身高的加權平均和。
子輩的平均身高 = 父輩平均身高 * 權重1 + 父輩所在族羣的平均身高 * 權重2
發展至今，更多地理解爲“迴歸”於期望值（expected value）。多次重複實驗得到的結果的平均值一般認爲趨近於expected value，這樣的估計過程可以理解爲“迴歸”，多個實際值將回歸於一個預測值。
殘差zi = 實際值Yi - 預測值Y
殘差表示實際值偏離預測值的大小，zi的平方和越小，說明擬和效果越好，迴歸效果越好。與最小二乘法的原理類似。