【學習筆記】對方差的理解

對方差的理解

1. 單個隨機變量 $X$ 的方差

假設有1次伯努利試驗，成功記爲1，概率爲 $p$；失敗記爲0，概率爲$1-p$ ，即：

Value	Probability
1	$p$
0	$1-p$

根據定義易得：
$E(X) = 1 \cdot p + 0 \cdot (1-p) = p \\ Var(X) = p(1-p)^2 + (1-p)(0-p)^2 = p(1-p)$
也就是說，我每進行一次伯努利試驗，就是這個隨機變量$X$ 每發生一次，我可能得到的 Value 的期望爲 $p$， 方差爲 $p(1-p)$ 。

2. 隨機過程 $\xi$ 的方差

假設現在進行 $n$ 次伯努利實驗，每次成功的概率爲 $p$，失敗的概率爲 $1-p$ 。

也就是說，隨機過程 $\xi$ 由 $n$ 個獨立同分布的隨機變量$X$組成，有$\xi = [X_1, X_2, ..., X_n]$ 。

這時候有：
$E(\xi) = E(X_1) + E(X_2) + ... + E(X_n) = np \\ Var(\xi) = Var(X_1) + Var(X_2) + ... + Var(X_n) = np(1-p)$
"This similarly follows from the fact that the variance of a sum of independent random variables is the sum of the variances.(來源：維基百科) " —— 獨立的隨機變量 和的方差=方差的和

3. 給定一個已知序列的方差

假設現在給定一個0-1序列：$X=[x_1, x_2, ... , x_n]$，其中 $x_i \in \{0,1\}$。同時我們假設已知 1 出現的次數爲 $k$，則 0 出現的次數就爲 $n-k$ 。

同樣根據定義容易得：
$E(X) = \frac{1}{n}\sum_{i=1}^{n}x_i = \frac{k}{n}$
這裏得到的期望值 $\frac{k}{n}$ 就對應了前面的 $p$ 值，即成功的次數（$k$）除以總得次數就（$n$）是我們成功的概率（$p$）。這個似乎沒什麼問題，很符合我們的預期。

下面再看下方差：
$Var(X) = \frac{1}{n} \sum_{i=1}^{n}k\cdot(1-\frac{k}{n})^2 + (n-k)\cdot(0-\frac{k}{n})^2 = \frac{k}{n}(1-\frac{k}{n})$
把 $\frac{k}{n}$ 替換成 $p$ ，你會發現，這裏的方差居然等於1. 中單個隨機變量 $X$ 的方差 $p(1-p)$， 而不等於 2. 中隨機過程 $\xi$ 的方差 $np(1-p)$。

這個一開始讓我非常困惑，因爲我把這個已知的0-1序列當成了一個二項分佈，結果我發現根據定義算出來的方差 和 直接用二項分佈方差公式得到的方差 居然不一樣（後者是前者的$n$倍，後者彷彿成了前者的SSE）。

用一個表格直觀對比下：

	期望	方差
隨機變量 $X$	$p$	$p(1-p)$
隨機過程 $\xi$	$np$	$np(1-p)$
已知序列$X$	$p$	$p(1-p)$

---

終於我想清楚了他們之間的區別：

• 已知的一個0-1序列 不能當成 二項分佈來計算方差，

• 因爲二項分佈是一個分佈，是一個隨機過程，它的結果是不確定、不知道的，它的方差計算公式同時考慮了$[1,0,0,1,...]$ 和 $[0,1,0,1,...]$ 的情況，這兩種情況對於過程來說是不一樣的；但是這兩種情況單獨來看的話，其期望和方差都是一樣的。

• 已知的一個0-1序列應該看作是，這個二項分佈所產生的一種可能情況，它僅僅是隨機過程的其中一條樣本軌道而已。它的方差就是我們平常理解的方差，反映了這組序列的離散程度。

• 或許應該這樣理解：已知的一個0-1序列應該是單個隨機變量 $X$ 的多次觀測樣本，同時隨着觀測次數越多，得到的統計值（包括期望和方差）就和真實的 $X$ 的越接近，所以 3. 和 1. 的計算結果纔是一致的。

• 最小二乘法的思想，通過最小話誤差來尋找數據的最佳擬合，這裏的誤差爲SSE（sum of squared error），就是用每一個觀測值減去擬合值（就是我們要尋找的真實值）的平方再求和。並且可以證明使SSE最小的最佳擬合值就是期望。所以其實 SSE=方差×樣本數 （未修正版）。

• 再從另一個角度來看：給定一個0-1序列，現在我要預測下一個到達的樣本是0還是1。我採取的方法是，我先統計已知序列裏有多少個1（$k$），多少個0（$n-k$），然後我得到了1的比率是 $k/n$ ，然後這個值就是我預測下一個到達樣本是1的概率。這時候我的預測誤差SSE將是最小的：
  $SSE = \sum_{i=1}^{k}(x_i - E(X))^2$

---

後續補充：

• 突然發現期望也有類似的現象， 2. 中隨機過程 $\xi$ 的期望 也乘了 $n$ ，分析是類似的。
• 所以再強調一次：不要把一個已知的0-1序列當成是一個二項分佈，不要用二項分佈的計算公式來計算已知序列的期望和方差！