作者：LogM
本文原載於 https://segmentfault.com/u/logm/articles，不允許轉載~
文章中的數學公式若無法正確顯示，請參見：正確顯示數學公式的小技巧
本文爲概率論與數理統計的筆記。
本文爲舊博客文章，公式顯示不正常，請至 https://segmentfault.com/a/1190000019462293 查看。
11. 第十一週
- 11.1 總體，樣本
-
11.2 常用統計量
- 樣本均值：$\overline{X} = \frac{1}{n} \sum_{i=1}^{n} X_i$
- 樣本方差：$S^2 = \frac{1}{n-1} \sum_{i=1}{n}(X_i - \overline X)^2$
- 樣本 $k$ 階矩：$A_k = \frac{1}{n} \sum_{i=1}^{n} X_i^k$
- 樣本 $k$ 階中心矩：$B_k = \frac{1}{n} \sum_{i=1}^{n} (X_i-\overline X)^k$
-
11.3 抽樣分佈
- 正態分佈
-
$\chi^2$ 分佈（卡方分佈）
- 定義：n個服從標準正態分佈 $N(0,1)$ 的隨機變量相互獨立，則稱 $\chi^2 = \sum_{i=1}^{n} X_i^2$ 服從自由度爲 $n$ 的 $\chi^2$ 分佈，記爲$\chi^2 \sim \chi^2(n)$
- 概率密度：$f_n(x) = \left \{\begin{matrix} \frac{2}{2\Gamma(n/2)}(\frac{n}{2})^{\frac{n}{2}-1}e^{-\frac{x}{2}} & ,x>0 \\ 0 & ,x \leq 0 \end {matrix} \right.$，其中 $\Gamma(\alpha) = \int_{0}^{+\infty} x^{\alpha-1}e^{-x}dx$
-
性質：
- $E(\chi^2) = n$
- $D(\chi^2) = 2n$
- 若 $Y_1 \sim \chi^2(n_1)$，$Y_2 \sim \chi^2(n_2)$，且互相獨立，則 $Y_1+Y_2 \sim \chi^2(n_1+n_2)$
- 上 $\alpha$ 分位數：給定 $\alpha$，$0< \alpha <1$，稱滿足條件 $P(\chi^2>\chi^2_a(n)) = \alpha$ 的點 $\chi^2_a(n)$ 爲 $chi^2(n)$ 分佈的上 $\alpha$ 分位數
-
$t$ 分佈
- 定義：$X \sim N(0,1)$，$Y \sim \chi^2(n)$，相互獨立，則稱 $T = \frac{X}{\sqrt{Y/n}}$ 服從自由度爲 $n$ 的 $t$ 分佈，記爲$T \sim t(n)$
- 上 $\alpha$ 分位數：$t_{1-\alpha}(n) = -t_{\alpha}(n)$
-
$F$ 分佈
- 定義：$X \sim \chi^2(n_1)$，$Y \sim \chi^2(n_2)$，相互獨立，則稱 $F = \frac{X/n_1}{Y/n_2}$ 服從自由度爲 $(n_1,n_2)$ 的 $F$ 分佈，記爲$F \sim F(n_1,n_2)$
- 上 $\alpha$ 分位數：$F_{1-\alpha}(n_1,n_2) = \frac{1}{F_{\alpha}(n_1,n_2)}$
12. 第十二週
-
12.1 單個正態總體的抽樣分佈
-
設總體 $X \sim N(\mu, \sigma^2)$，$X_1$，$X_2$，$...$，$X_n$ 是樣本，樣本均值 $\overline X = \frac{1}{n} \sum_{i=1}^{n}X_i$，樣本方差 $S^2 = \frac{1}{n-1} \sum_{i=1}^{n} (X_i-\overline X)^2$，則：
- $\overline X \sim N(\mu, \frac{\sigma^2}{n})$
- $\frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)$，且 $\overline X$ 與 $S^2$ 相互獨立
- $\frac{\overline X-\mu}{\sigma/\sqrt{n}} \sim N(0,1)$
-
設總體 $X \sim N(\mu, \sigma^2)$，$X_1$，$X_2$，$...$，$X_n$ 是樣本，樣本均值 $\overline X = \frac{1}{n} \sum_{i=1}^{n}X_i$，樣本方差 $S^2 = \frac{1}{n-1} \sum_{i=1}^{n} (X_i-\overline X)^2$，則：
- $\frac{\overline X - \mu}{S/\sqrt{n}} \sim t(n-1)$
-
-
12.2 兩個正態總體的抽樣分佈
-
設樣本 $X_1$，$X_2$，$...$，$X_{n_1}$ 和樣本 $Y_1$，$Y_2$，$...$，$Y_{n_2}$ 分別來自於總體 $N(\mu_1,\sigma_1^2)$ 和總體 $N(\mu_2,\sigma_2^2)$，並且他們相互獨立，樣本均值分別爲 $\overline X$，$\overline Y$，樣本方差分別爲 $S_1^2$，$S_2^2$，則：
- $F=\frac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2} \sim F(n_1-1,n_2-1)$
- $\frac{(\overline X - \overline Y)-(\mu_1-\mu_2)}{\sqrt{\frac{\sigma_1}{n_1}+\frac{\sigma_2}{n_2}}} \sim N(0,1)$
- $\frac{(\overline X - \overline Y)-(\mu_1-\mu_2)}{S_w \sqrt{\frac{\sigma_1}{n_1}+\frac{\sigma_2}{n_2}}} \sim t(n_1+n_2-2)$，其中 $S_w^2 = \frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}$
-
-
12.3 矩估計
- 理論依據：大數定律和依概率收斂
- 做法：用原點矩或中心矩來估計參數，比如用樣本的期望和方差估計參數
13. 第十三週
-
13.1 極大似然估計
- 似然函數（離散型）：$L(\theta) = \Pi_{i=1}^{n} p(x_i;\theta)$
- 似然函數（連續型）：$L(\theta) = \Pi_{i=1}^{n} f(x_i;\theta)$
- 常取 $ln$，再利用倒數爲0求解
- 性質：若 $\hat{\theta}$ 爲 $\theta$ 的極大似然估計，則 $g(\hat{\theta})$ 爲 $g(\theta)$ 的極大似然估計
-
13.2 估計量的評價標準
-
無偏性準則
- 當估計量的期望 $E(\hat{\theta}) = \theta$，則估計是無偏的，保證估計沒有系統偏差
-
有效性準則
- 估計的方差越小，越有效
-
均方誤差準則
- $Mse(\hat{\theta}) = E(\hat{\theta} - \theta)^2$
- 當無偏估計時，$Mse({\hat{\theta}}) = D(\hat{\theta})$
- 均方誤差越小越優（比無偏性準則更重要）
-
相合性準則
- 相合性估計量（一致性估計量）：隨着樣本n的增加，$\hat{\theta}$ 可以依概率收斂到 $\theta$
-
