在線性迴歸1：最小二乘法及其幾何意義這篇文章中我們給出了最小二乘估計的損失函數並推出了其閉合解，最後從幾何角度推出了與解析法同樣的結果。
現在我們從概率的視角理解最小二乘法。
先列出前面的結論：
對於樣本來說，由於具有噪聲，不可能使得擬合誤差爲零。我們假設噪聲是服從高斯分佈的：
因此，y可以寫爲：
進一步： 
因此，y的分佈可以寫爲：
使用最大似然估計法：
所以w的估計爲：
可以看到，這與本文最開始所列出的對w的估計是一樣的。我們就有以下結論：
最小二乘估計其實隱藏了噪聲服從零均值高斯分佈的這樣的假設。