Law Of Large Numbers - 大數定律 - 大數定理

Law Of Large Numbers - 大數定律 - 大數定理

大數實質上可以理解爲多數。

在隨機事件的大量重複出現中，往往呈現幾乎必然的規律，這個規律就是大數定律。這個定理就是在試驗不變的條件下，重複試驗多次，隨機事件的頻率近似於它的概率。偶然中包含着某種必然。

大數定律分爲弱大數定律和強大數定律。

大數定律是一種描述當試驗次數很大時所呈現的概率性質的定律。大數定律並不是經驗規律，而是在一些附加條件上經嚴格證明了的定理，它是一種自然規律因而通常不叫定理而是大數定律。

如果統計數據足夠大，那麼事物出現的頻率就能無限接近他的期望值。

1. 切比雪夫大數定理 (切比雪夫不等式)

設 $x_{1}, x_{2}, ..., x_{n}$ 是相互獨立的隨機變量 (或者兩兩不相關)，他們分別存在期望 $E(x_{k})$ 和方差 $D(x_{k})$。若存在常數 $C$ 使得，$D(x_{k}) \leq C (k = 1, 2, ..., n)$
則對任意小的正數 $\epsilon$，滿足下列公式

${\underset {n \rightarrow \infty}{\text{lim}}} P\{ |\frac{1}{n} \sum_{k=1}^{n} x_{k} - \frac{1}{n} \sum_{k=1}^{n} E(x_{k})| < \epsilon \} = 1$

隨着樣本容量 n 的增加，樣本平均數將接近於總體平均數。從而爲統計推斷中依據樣本平均數估計總體平均數提供了理論依據。

切比雪夫大數定理並未要求 $x_{1}, x_{2},... , x_{n}$ 同分布，相較於伯努利大數定律和辛欽大數定律更具一般性。

2. 伯努利大數定律

設 $\mu$ 是 $n$ 次獨立試驗中事件 A 發生的次數，且事件 A 在每次試驗中發生的概率爲 $P$，則對任意正數 $\epsilon$，

${\underset {n \rightarrow \infty}{\text{lim}}} P\{ |\frac{\mu_{n}}{n} - p| < \epsilon \} = 1$

伯努利大數定律是切比雪夫大數定律的特例，當 n 足夠大時，事件 A 出現的頻率將幾乎接近於其發生的概率，即頻率的穩定性。

3. 辛欽大數定律

設 $\{a_{i}, i \geq 1\}$ 爲獨立同分布的隨機變量序列，若 $a_{i}$ 的數學期望存在，則服從大數定律。對任意正數 $\epsilon$，

${\underset {n \rightarrow \infty}{\text{lim}}} P\{ |\frac{1}{n} \sum_{i=1}^{n} a_{i} - \mu| < \epsilon \} = 1$

辛欽大數定律指出用算術平均值來近似實際真值是合理的，而在數理統計中，用算術平均值來估計數學期望就是根據此定律，這一定律使算術平均值的法則有了理論依據。

對於弱大數定律，上述收斂是指依概率收斂 (in probability)。
對於強大數定律，上述收斂是指幾乎必然收斂 (almost surely/with probability one)。

大數定律通俗來講就是樣本數量很大的時候，樣本均值和真實均值充分接近。大數定律與中心極限定理一起，成爲現代概率論、統計學、理論科學和社會科學的基石。