數理統計（二）——切比雪夫不等式、大數定理、伯努利定理、中心極限定理

切比雪夫不等式

1. 含義：設隨機變量X$X$ 的期望爲μ$\mu$ ，方差爲σ2${\sigma }^2$ ，對於任意正數ε$\epsilon$ ，有：
   P{|X−μ|≥ε}≤σ2ε2$$P\{|X-\mu |\ge \epsilon \}\le \frac{{\sigma }^2}{{\epsilon }^2}$$
2. 切比雪夫不等式說明，X的方差越小，事件{|X−μ|≤ε}$\{|X-\mu |\le \epsilon \}$ 的概率就越大。即：X$X$ 的取值基本上集中在期望μ$\mu$ 附近。即方差越小，數據的震盪程度越小，數據分佈越集中。
3. 切比雪夫不等式的證明

大數定理

1. 含義：設隨機變量X1,X2,...,Xn$X_1,X_2,...,X_n$ 互相獨立，並且具有相同的期望μ$\mu$ 和方差σ2${\sigma }^2$ .作前n個隨機變量的平均Yn=1n∑ni=1Xi$Y_n=\frac{1}{n}\sum _{i=1}^n{X}_i$ ，則對於任意正數ε$\epsilon$ ，有
   limn→∞P|Yn−μ|<ε=1$$\underset{n\to \mathrm{\infty }}{lim}P|Y_n-\mu |<\epsilon =1$$
2. 意義：當n很大時，隨機變量X1,X2,...,Xn$X_1,X_2,...,X_n$ 的平均值Yn$Y_n$ 在概率意義下無限接近期望μ$\mu$
   
   1. 任然有可能出現偏離，但是這種可能性很小，當n無限大時，這種可能性的概率爲0

伯努利大數定理

1. 含義：一次試驗中事件A$A$ 發生的概率爲p$p$ ；重複n$n$ 次獨立實驗中，事件A發生了nA$n_A$ 次，則p、n、nA$p、n、n_A$ 的關係滿足：對於任意正數ε$\epsilon$
   limn→∞P(|nAn−p|<ε)=1$$\underset{n\to \mathrm{\infty }}{lim}P(|\frac{n_A}{n}-p|<\epsilon )=1$$
2. 意義：該定理表明事件A發生的頻率nAn$\frac{n_A}{n}$ 以概率收斂於事件A的概率p。
3. 用途：
   
   1. 正態分佈的參數估計
   2. 樸素貝葉斯做垃圾郵件分類
   3. 隱馬爾科夫模型有監督參數學習

中心極限定理

1. 含義：設隨機變量X1,X2,...,Xn$X_1,X_2,...,X_n$ 互相獨立，服從同一分佈，並且具有相同的期望μ$\mu$ 和方差σ2${\sigma }^2$ ，則隨機變量
   Yn=∑ni=1Xi−nμn‾√σ$$Y_n=\frac{\sum _{i=1}^n{X}_i-n\mu }{\sqrt{n}\sigma }$$
   的分佈收斂到標準正態分佈
   容易得到：∑ni=1Xi$\sum _{i=1}^n{X}_i$ 收斂到正態分佈N(nμ,nσ2)$N(n\mu ,n{\sigma }^2)$
2. 意義：實際問題中，很多隨機現象可以看做許多因素的獨立影響的綜合反應，往往近似服從正態分佈。如：
   
   1. 城市耗電量：大量用戶的耗電量總和
   2. 測量誤差：許多觀察不到的、微小誤差的總和
      
      1. 注意，是多個隨機變量的和纔可以，有些問題是乘性誤差，則需要鑑別或者取對數後再使用
   3. 線性迴歸中，將使用該定理論證最小二乘法的合理性