標準方差是方差無偏估計的證明——編輯版

1、問題描述：假設有一批獨立同分布的樣本{${x_i,i=1,2,3...,n-1,n}$}。
標準方差的公式爲：
$S^{2} = \frac{1}{n}\sum_{i=1}^{n}(x_i - \overline{x})^{2}$
,其中$\overline{x}=\frac{1}{n}\sum_{i=1}^{n}x_i$；

---

另外假設均值$E(x_i) = \mu$,方差$D(x_i) = \sigma^{2}$；

---

證明：標準方差是方差的無偏估計。

【分析】：要想證明標準方差是方差的無偏估計，只需證明$E(S^2) = \sigma^{2} = D(x_i)$，其中比較麻煩的地方是$x_i * \overline{x}$，所以要把$\overline{x}$中的$x_i$分離處理。

2、證明開始：
$\begin{aligned} E(S^{2}) &= E(\frac{1}{n-1}\sum_{i=1}^{n}(x_i - \overline{x})^{2}) \\ &= \frac{1}{n-1}E(\sum_{i=1}^{n}(x_i - \frac{1}{n}x_i - \frac{1}{n}\sum_{j\neq{i},j=1}^{n}x_j))\\ &= \frac{1}{n-1}E(\sum_{i=1}^{n}(\frac{(n-1)^2}{n^2}x_i^{2} - \frac{2(n-1)}{n^{2}}x_i *\sum_{j\neq{i},j=1}^{n}x_j + \frac{1}{n^2}(\sum_{j\neq{i},j=1}^{n}x_j)^{2})) \\ \end{aligned}$
下面將$E(\centerdot)$中的三部分分別計算，按照從左往右的順序，係數$\frac{1}{n-1}$暫時不帶，最後算完結果一起帶入。
第一部分：
$\begin{aligned} E(\sum_{i=1}^{n}(\frac{(n-1)^2}{n^2})x_i^{2}) &= \frac{(n-1)^2}{n^2}\sum_{i=1}^{n}E(x_i^{2}) \\ &= \frac{(n-1)^2}{n^2}\sum_{i=1}^{n}(E^2(x_i) + D(x_i)) \\ &= \frac{(n-1)^2}{n^2}\sum_{i=1}^{n}(\mu^{2} + \sigma^{2}) \\ &= \frac{(n-1)^2}{n}(\mu^{2} + \sigma^{2}) \end{aligned}$
第二部分：
$\begin{aligned} E(\sum_{i=1}^{n}( \frac{2(n-1)}{n^{2}}x_i *\sum_{j\neq{i},j=1}^{n}x_j)) &= \frac{2(n-1)}{n^{2}}\sum_{i=1}^{n}E(x_i *\sum_{j\neq{i},j=1}^{n}x_j)) \\ &= \frac{2(n-1)}{n^{2}}\sum_{i=1}^{n}(E(x_i) * \sum_{j\neq{i},j=1}^{n}E(x_j)) \\ &= \frac{2(n-1)}{n^{2}}\sum_{i=1}^{n}(\mu * (n-1)\mu) \\ &= \frac{2(n-1)}{n^{2}} * n*(n-1)*\mu^{2} \\ & = \frac{2(n-1)^{2}*\mu^{2}}{n} \end{aligned}$
第三部分：
$\begin{aligned} E(\sum_{i=1}^{n}(\frac{1}{n^2}(\sum_{j\neq{i},j=1}^{n}x_j)^{2})) &= \frac{1}{n^2}\sum_{i=1}^{n}E(((\sum_{j\neq{i},j=1}^{n}x_j)^{2})) \\ &= \frac{1}{n^2}\sum_{i=1}^{n}(E^{2}(\sum_{j\neq{i},j=1}^{n}x_j) +D(\sum_{j\neq{i},j=1}^{n}x_j)) \\ &= \frac{1}{n^2}\sum_{i=1}^{n}((\sum_{j\neq{i},j=1}^{n}E^{2}(x_j))+\sum_{j\neq{i},j=1}^{n}D(x_j)) \\ &= \frac{1}{n^2}\sum_{i=1}^{n}(((\sum_{j\neq{i},j=1}^{n}\mu)^{2})+\sum_{j\neq{i},j=1}^{n}\sigma^{2}) \\ &= \frac{1}{n^2}\sum_{i=1}^{n}((n-1)^{2}*\mu^2+(n-1)*\sigma^2) \\ &= \frac{(n-1)^2}{n^2} *n *\mu^2+\frac{n-1}{n^2} *n\sigma^2\\ &= \frac{(n-1)^2}{n} *\mu^2+\frac{n-1}{n} \sigma^2 \end{aligned}$
終於到了相加的時候了，將1-3部分的內容帶上係數相加如下：
$\begin{aligned} (n-1)E(\centerdot) & =\frac{(n-1)^2}{n}(\mu^{2} + \sigma^{2}) \ - \frac{2(n-1)^{2}*\mu^{2}}{n} + \frac{(n-1)^2}{n} *\mu^2+\frac{n-1}{n} \sigma^2 \\ &= \frac{(n-1)^2}{n}\sigma^{2} + \frac{n-1}{n} \sigma^2 \\ &= \frac{n^2-n}{n}\sigma^{2} \\ &= (n-1)\sigma^{2} \end{aligned}$
所以
$E(\centerdot) = \sigma^2$
得證。
注：標準方差前面的係數$\frac{1}{n-1}$是爲了讓其是方差的無偏估計而加上的。