極大似然估計vs最小二乘法
最大似然估計：現在已經拿到了很多個樣本（你的數據集中所有因變量），這些樣本值已經實現，最大似然估計就是去找到那個（組）參數估計值，使得前面已經實現的樣本值發生概率最大。因爲你手頭上的樣本已經實現了，其發生概率最大才符合邏輯。這時是求樣本所有觀測的聯合概率最大化，是個連乘積，只要取對數，就變成了線性加總。此時通過對參數求導數，並令一階導數爲零，就可以通過解方程（組），得到最大似然估計值。
最小二乘：找到一個（組）估計值，使得實際值與估計值的距離最小。本來用兩者差的絕對值彙總並使之最小是最理想的，但絕對值在數學上求最小值比較麻煩，因而替代做法是，找一個（組）估計值，使得實際值與估計值之差的平方加總之後的值最小，稱爲最小二乘。“二乘”的英文爲least square，其實英文的字面意思是“平方最小”。這時，將這個差的平方的和式對參數求導數，並取一階導數爲零，就是OLSE。
參考稻花香