最大似然估計(MLE)與最小二乘估計(LSE)的區別

最大似然估計與最小二乘估計的區別

標籤（空格分隔）： 概率論與數理統計

---

最小二乘估計

對於最小二乘估計來說，最合理的參數估計量應該使得模型能最好地擬合樣本數據，也就是估計值與觀測值之差的平方和最小。

設Q表示平方誤差，Yi 表示估計值，Ŷ i 表示觀測值，即Q=∑ni=1(Yi−Ŷ i)2

最大似然估計

對於最大似然估計來說，最合理的參數估計量應該使得從模型中抽取該n組樣本的觀測值的概率最大，也就是概率分佈函數或者似然函數最大。

顯然，最大似然估計需要已知這個概率分佈函數，一般假設其滿足正態分佈函數的特性，在這種情況下，最大似然估計與最小二乘估計是等價的，也就是估計的結果是相同的。
最大似然估計原理：
1. 當給定樣本x1,x2,...,xn 時，定義似然函數爲L(θ)=f(x1,x2,...,xn;θ) ;
2. L(θ) 看做是θ 的函數，最大似然估計就是用使L(θ) 達到最大值的θ̂  去估計θ ，這時稱θ̂  爲θ 的最大似然估計;

MLE的步驟：
1. 由總體分佈導出樣本的聯合概率函數（或聯合密度）；
2. 把樣本聯合概率函數的自變量看成是已知常數，而把θ 看做是自變量，得到似然函數L(θ) ;
3. 求似然函數的最大值（常常取對數，然後求駐點）；
4. 用樣本值帶入得到參數的最大似然估計。

例題

設一個有偏的硬幣，拋了100次，出現1次人頭，99次字。問用最大似然估計（ML）和最小均方誤差（LSE）估計出現人頭的概率哪個大？

LSE

設使用LSE估計，出現人頭的概率爲θ , 則出現字的概率爲1−θ 。
已知觀測量爲：（觀測到的）出現人頭的概率爲1100 , （觀測到的）出現字的概率爲99100 ,則由最小二乘估計：
Q(θ)=argminθ∑1001(θ−θ̂ )2 =argminθ(1100−θ)2+[99100−(1−θ)]2∗99
令∂Q(θ)∂θ=0 ,解得θ=1100 ;

ML

設使用ML估計，所以x服從伯努利分佈，x∼B(朝上,θ) ,
則概率密度函數爲：

P(x|θ)={θ,1−θ,if x 人頭朝上if x 字朝上

則連續100次試驗的似然函數爲：
P(x1,x2,..x100|θ)=C1100θ1∗(1−θ)99=100∗θ1∗(1−θ)99
最大化似然函數，則θ 至少爲駐點，對似然函數取對數並求偏導：
lnP(x1,x2,..x100|θ)=ln100+lnθ+99ln(1−θ)
對θ 求偏導爲0，得到：
∂lnP(x1,x2,..x100|θ)∂θ=1θ−991−θ=0 , 解得θ=1100.

兩者雖然得到的估計值是一樣的，但是原理完全不同，要對他們的推導過程非常清楚。