1. 數理統計---數理統計基本概念

1. 數理統計的基本概念

基本思想: 數據$\Rightarrow$歸納$\Rightarrow$結果
定義: 數理統計是以概率論爲基礎, 關於實驗數據的收集, 整理, 分析與推斷的一種科學與藝術.

1.1. 數據的收集:

總體: 研究對象的全體稱爲總體
個體: 總體中每一個具體的對象稱爲個體

**例子1**: 分析某工廠燈泡的壽命 總體--該班廠所有燈泡的壽命 個體--每一個燈泡的壽命

總體: 研究對象的數量指標X $X\sim F(x)$ 個體: 總體X的可能取值

燈泡壽命的例子: **總體**--該廠所有燈泡的壽命X $$X\sim N(\mu, \sigma^2)$$ **個體**--每一個燈泡的使用壽命, 即X的一個可能取值

我知道部分個體的值, 能否預測總體?
假設燈泡服從$X\sim N(\mu, \sigma^2), 如何預測\mu和\sigma$

定義1: 從總體$X$中抽取的部分個體, 得到的數量指標$X_1, X_2, ..., X_n$, 若滿足下條件:
(1) $X_1, X_2, ..., X_n$與$X$同分布;
(2) $X_1, X_2, ..., X_n$相互獨立.
則稱$X_1, X_2, ..., X_n$是來自$X$的一個簡單隨機樣本, 簡稱樣本

樣本觀測值: 對樣本$X_1, X_2, ..., X_n$進行觀測後, 得到的觀測值: $x_1, x_2, ..., x_n$稱爲樣本的觀測值.(注意: 小寫字母爲觀測值, 大寫字母爲樣本(隨機變量))

樣本的聯合分佈: 設總體$X\sim F(x)$, 則樣本$X_1, X_2, ..., X_n$的聯合分佈函數爲:
$F(x_1, ..., x_n)=P\{X_1\leq x_1, ..., X_n\leq x_n\}=\prod_{i=1}^{n}F(x_i)$
若總體$X$的密度函數爲$f(x)$, 則樣本$X_1, X_2, ..., X_n$的聯合密度函數爲(連續性):
$f(x_1, ..., x_n)=\prod_{i=1}^n f(x_i)$
若總體$X$的分佈律爲(離散型):$P\{X=a_k\}=p_k, k=1,2, ...$
則樣本$X_1, X_2, ..., X_n$的聯合分佈律爲:
$P\{X_1=x_1, X_2=x_2, ..., X_n=x_n\}=P\{X_1=x_1\}*P\{X_2=x_2\}...P\{X_n=x_n\}=\prod_{i=1}^n P\{X=x_i\}$

例子2: 設$X_1, X_2, ..., X_n$是來自總體$N(\mu, \sigma^2)$的樣本, 則樣本的聯合密度函數爲: $$f(x_1, x_2, ..., x_n)=\prod_{i=1}^n f(x_i)=\prod_{i=1}^n \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x_i-u)^2}{2\sigma^2}}$$

例子3: 設$X_1, X_2, ..., X_n$是來自總體$B(1, p)$的樣本, 則樣本的聯合分佈函數爲: $$P\{X_1=x_1, ..., X_n=x_n\}=\prod_{i=1}^n P{X=x_i}=\prod_{i=1}^{n}p^{x_1}p^{(1-x_i)}=p^{(\sum_{i=1}^n{x_i})}p^{\sum_{i=1}^n{(1-x_i)}}$$

樣本與總體的關係:   總體  $\Downarrow$    $\Uparrow$ 樣本 $\Rightarrow$ 樣本值

1.2. 數據的整理:

統計量
定義2: 設$X_1, X_2, ..., X_n$是來自總體$X~F(x)$的樣本, $g(x_1, x_2, ..., x_n)$是n元實值連續函數, 若$g(x_1, x_2, ..., x_n)$不含未知參數, 則稱$g(x_1, x_2, ..., x_n)$爲統計量.

1.2.1 常見的統計量

設$X_1, X_2, ..., X_n$是來自樣本X的樣本, 則稱:
$\begin{aligned} (1)& 樣本均值\bar X=\frac{1}{n}\sum_{i=1}^nX_i\\ (2)& 樣本方差S^2=\frac{1}{n-1}\sum_{i=1}^n(X_i-\bar X)^2\\ &樣本標準差S=\sqrt{\frac{1}{n-1}\sum_{i=1}^n(X_i-\bar X)^2}\\ (3)& 樣本K階原點矩 A_k=\frac{1}{n}\sum_{i=1}^nX_i^k\\ (4)& 樣本K階中心矩 B_k=\frac{1}{n}\sum_{i=1}^n(X_i-\bar X)^k\\ (5)& 樣本極大值, 樣本極小值, 樣本極差 R_n=X_{(n)}-X_{(1)} \end{aligned}$

1.2.2 樣本均值與樣本方差的數字特徵

命題1: 設$X_1, X_2, ..., X_n$是來自總體$X~F(x)$的樣本, 且總體的均值與方差存在, 記爲:
$E(X)=\mu, D(X)=\sigma^2$
則有:
$(1)E(\bar X)=\mu, D(\bar X)=\frac{1}{n}\sigma^2\\ (2) E(S^2)=\sigma^2$
證明:
已知$E(X)=\mu, D(X)=\sigma^2$
$\begin{aligned} (1) E(\bar X)&=E(\frac{1}{n}\sum_{i=1}^{n}X_i)\\ &=\frac{1}{n}\sum_{i=1}^{n}E(X_i)\\ &=\frac{1}{n}*n\mu=\mu\\ D(\bar X)&=D(\frac{1}{n}\sum_{i=1}^{n}X_i)\\ &=\frac{1}{n^2}\sum_{i=1}^{n}D(X_i)(此步用到獨立同分布)\\ &=\frac{1}{n^2}*\sigma^2 \end{aligned}$

(2) 先推導一個公式
$\begin{aligned} \sum_{i=1}^n(X_i-\bar X)^2&=\sum_{i=1}^n X_i^2-n\bar X^2\\ 左邊&=\sum_{i=1}^n(X_i^2-2X_i\bar X+\bar X^2)\\ &=\sum_{i=1}^n X_i^2-2\sum_{i=1}^n X_i\bar X+\sum_{i=1}^n \bar X^2\\ &=\sum_{i=1}^n X_i^2-2\bar X\sum_{i=1}^n X_i+n\bar X^2\\ &=\sum_{i=1}^n X_i^2-n\bar X^2 \end{aligned}$
然後證明公式:
$\begin{aligned} E[\sum_{i=1}^n(X_i-\bar X)^2]&=E[\sum_{i=1}^n X_i^2-n\bar X^2]\\ &=\sum_{i=1}^n E(X_i^2)-nE(\bar X^2)\\ &=\sum_{i=1}^n [D(X_i)+E(X_i)^2]-n[D(\bar X)+E(\bar X)^2]\\ &=n\sigma^2+n\mu^2-n*\frac{1}{n}\sigma^2-n*\mu^2\\ &=(n-1)\sigma^2 \end{aligned}\tag{2}$
最後得到:
$\begin{aligned} E(S^2)&=E(\frac{1}{n-1}\sum_{n-1}^{1}(X_i-\bar X)^2)\\ &=\frac{1}{n-1}E(\sum_{n-1}^{1}(X_i-\bar X)^2)\\ &=\frac{1}{n-1}*(n-1)\sigma^2\\ &=\sigma^2 \end{aligned}$

上面的結果說明了什麼?