最小二乘法是用來做函數擬合或者求函數極值的方法。在機器學習，尤其是迴歸模型中，最常用的就是最小二乘迴歸求解模型參數。
1 最小二乘的原理與要解決的問題
最小二乘法是由勒讓德在19世紀發現的，原理的一般形式很簡單，發現的過程是非常艱難的。形式如下式：
觀測值就是我們的多組樣本，理論值就是我們的假設擬合函數。
目標函數也就是在機器學習中常說的損失函數.
我們的目標是得到使目標函數最小化時候的擬合函數的模型。
比如有m個只有一個特徵的樣本：
2 最小二乘法的代數法求解
3 最小二乘法的矩陣法解法
矩陣法比代數法要簡潔，且矩陣運算可以取代循環，所以現在很多書和機器學習庫都是用的矩陣法來做最小二乘法。這裏用上面的多元線性迴歸例子來描述矩陣法解法。
4 最小二乘法的侷限性和適用場景
從上面可以看出，最小二乘法適用簡潔高效，比梯度下降這樣的迭代算法似乎方便很多，下面討論最小二乘法的侷限性。
第五，最小二乘考慮了所有噪聲。。。
以上 ，重新學習了最小二乘法。