爲什麼對高斯分佈的方差的極大似然估計是有偏的？

本文要證明爲什麼對高斯分佈的方差的極大似然估計是有偏的。同時，也說明爲什麼求樣本方差時，分母是N-1而不是N。

首先，明白兩點，（1）極大似然法得到的高斯方差是什麼形式（2）什麼是有偏。

（1）先說第一個問題，用極大似然估計得到的高斯方差是什麼。

假設有n個符合高斯獨立同分布的觀測值

，我們要根據這些樣本值估計正態分佈的期望和方差。

以上信息可以表示爲：

（1）

極大似然估計就要找需要合適的和使得（1）式具有最大值。

對上式兩邊同時取對數，得

（2）

取對數操作的好處：1、log函數在定義域上是單調函數，便於求極值 2、便於計算機計算，因爲過小的值做乘法運算可能會導致溢出，取對數操作之後，將乘法轉換爲加法，避免了這個問題。

對（2）式右邊對求偏導，並令導數值爲零，解得

（3）

對（2）式右邊對求偏導，並令導數值爲零，解得

（4）。

現在得到期望和方差的表達形式了，接下來判斷他們是否有偏。

（2）有偏與無偏

如果一個變量的期望等於他的理想值，那麼就稱該變量無偏；否則稱爲有偏。

在下面的證明中，會用到多變量和、積的期望以及多變量和、積的方差公式：

當多個變量相互獨立時，有

另外，

，因爲，是的一個實例，服從什麼分佈，當然也服從。

預備知識講完了，下面開始證明：

對於期望估計有，

（5）

對於方差估計則比較麻煩一些，

首先，對平方進行展開，再進行一些合併

（6）

接着，分別求其中的後兩項

（7）

（8）

最後，將（7）、（8）式帶入（6）式，得

（9）

終於大功告成，所以均值估計是無偏的，方差估計是有偏的。那麼無偏的方差估計應該是什麼形式？

答案是，

（10）

這也就是爲什麼求樣本方差的時候分母是N-1而不是N。

這種形式的方差估計的無偏性讀者可以仿照上面進行證明。