概率論重點

1. 古典概型

樣本空間有限個基本事件，基本事件等可能發生
$P(A)=\frac{A包含基本事件數}{S所有基本事件數}$

2. 條件概率

A發生條件下B發生的概率
$P(B \mid A)=\frac{P(AB)}{P(A)}$

3. 乘法定理

\begin{equation}
P(AB)=P(B\mid A)P(A)\
P(ABC)=P(C\mid AB)P(B\mid A)P(A)
\end{equation}

4. 全概率公式

$B_1,B_2,\cdots,B_n$ 是S的一個劃分
$P(A)=P(A\mid B_1)P(B_1)+P(A\mid B_2)P(B_2)+\cdots+P(A\mid B_n)P(B_n)$

5. 貝葉斯公式

$B_1,B_2,\cdots,B_n$ 是S的一個劃分
$P(B_i\mid A)=\frac{P(AB_i)}{P(A)}=\frac{P(A\mid B_i)P(B_i)}{\displaystyle\sum_{j=1}^{n}P(A\mid B_j)P(B_j)},\ i=1,2,\cdots ,n$

6. 獨立性和相關性

$P(AB)=P(A)P(B)\ 則A,B獨立\\ Cov(A,B)>0\ 則A,B相關$

7. 離散型隨機變量

隨機變量	公式描述	期望
伯努利分佈	$只有兩個取值\\P(0)=1-p,\ P(1)=p$	$p$
二項分佈	$n次伯努利實驗中事件A以概率p發生了k次\\P(X=k)=C_n^kp^k(1-p)^{n-k},\ k=0,1,\cdots,n$	$np$
幾何分佈	$每次實驗成功概率p，直到首次成功的實驗次數爲X\\P(X=k)=(1-p)^{k-1}p,\ k=1,2,\cdots$	$1 / p$
超幾何分佈	$N個樣本中m個不及格，從中抽出n個，其中k個不及格概率\\P(X=k)=\displaystyle\frac{C_m^k C_{N-m}^{n-k}}{C_N^n},\ k=0,1,\cdots,m$	$nm / N$
泊松分佈	$X表示獨立事件發生次數，取值爲0,1,2,\cdots,\lambda爲發生次數期望，\\P(X=k)=\displaystyle\frac{\lambda^k e^{-\lambda}}{k!},\ k=0,1,2,\cdots$	$\lambda$

8. 連續隨機變量

隨機變量	公式描述	期望
均勻分佈	$f(x)=\left{\begin{array}{ll}\displaystyle\frac{1}{b-a},&a<x<b\0,&其他\end{array}\right. $	$(a+b)/2$
指數分佈	$f(x)=\left{\begin{array}{ll}\displaystyle\lambda e^{-\lambda x},&x\geq0\0,&其他\end{array}\right. $	$1/\lambda$
正態分佈	$f(x)=\displaystyle\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}},\ -\infty<x<\infty$	$\mu$

9. 數學期望

離散： $E(X)=\displaystyle\sum_x x\ p(x)$
連續： $E(X)=\displaystyle\int_{-\infty}^\infty x\ f(x)dx$

具有線性性質
獨立隨機變量X,Y有 $E(XY)=E(X)E(Y)$
切比雪夫不等式：任意隨機變量 $X$ 具有數學期望 $\mu$ 和方差 $\sigma^2$ ，則對於任意正數 $\epsilon$ 有 $\displaystyle P(|X-\mu|\ge\epsilon)\le \frac{\sigma^2}{\epsilon^2}$

10. 條件期望

離散： $E(X\mid Y=y)=\displaystyle\sum_x x\ P(X=x\mid Y=y)$
連續： $E(X\mid Y=y)=\displaystyle\int_{-\infty}^\infty x\ f_{X\mid Y}(x\mid y)dx$

11. 方差

$D(X)=E([X-E(X)]^2)=E(X^2)-[E(X)]^2$
$D(CX)=C^2D(X),\ D(X+C)=D(X)$
$D(X+Y)=D(X)+D(Y)+2Cov(X,Y)\stackrel{X,Y獨立}{\longrightarrow }D(X)+D(Y)$

12. 協方差

$Cov(X,Y)=E([X-E(X)][Y-E(Y)])=E(XY)-E(X)E(Y)$
$Cov(aX,bY)=abCov(X,Y)$
$Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$

13. 相關係數

$\displaystyle\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)\sqrt{D(Y)}}}$
用來表徵線性關係緊密程度， $X,Y獨立\stackrel{\Longrightarrow}{\not\Longleftarrow}X,Y不相關$

14. 大數定理

弱大數定理
$X_1, X_2, \cdots$ 爲相互獨立服從同分布的隨機變量序列，其數學期望爲 $\mu$ ，作前 $n$ 個變量的算術平均 $\overline{X}=\displaystyle\frac{1}{n}\sum_{k=1}^{n}X_k$ ，則 $\overline{X}$ 依概率收斂到 $\mu$ ，即對於任意正數 $\epsilon$ ，有
$\lim_{n \to\infty}P\left(\left|\frac{1}{n}\sum_{k=1}^{n}X_k-\mu\right|<\epsilon\right)=1$
伯努利大數定理
$f_A$ 是 $n$ 次獨立重複事件 $A$ 發生的次數， $p$ 是事件 $A$ 在每次事件中發生的概率，則對於任意正數 $\epsilon$ ，有

$\lim_{n \to\infty}P\left(\left|\frac{f_A}{n}-p\right|<\epsilon\right)=1$

15. 中心極限定理

獨立同分布中心極限定理
$X_1, X_2, \cdots, X_n$ 爲相互獨立服從同分布的 $n$ 個隨機變量，其數學期望爲 $\mu$ ，方差爲 $\sigma^2$ ，求這 $n$ 個變量的和 $S=\displaystyle\sum_{k=1}^{n}X_k$ ，則 $S$ 的標準化變量近似服從正態分佈，即
$\frac{S-n\mu}{\sqrt{n}\sigma}\stackrel{近似}{\sim}N(0,1)$
或者求這 $n$ 個變量的算術平均 $\overline{X}=\displaystyle\frac{1}{n}\sum_{k=1}^{n}X_k$ ，則
$\frac{\overline{X}-\mu}{\displaystyle\frac{\sigma}{\sqrt{n}}}\stackrel{近似}{\sim}N(0,1)\quad 或 \quad \overline{X}\stackrel{近似}{\sim}N(\mu,\frac{\sigma^2}{n})$
獨立不同分佈中心極限定理（李雅普諾夫定理）
$X_1, X_2, \cdots, X_n$ 爲相互獨立但是服從不同分佈的 $n$ 個隨機變量，其數學期望依次爲 $\mu_1,\mu_2, \cdots, \mu_n$ ，方差依次爲 $\sigma_1^2, \sigma_2^2, \cdots, \sigma_n^2$ ，求這 $n$ 個變量的和 $S=\displaystyle\sum_{k=1}^{n}X_k$ ，則 $S$ 的標準化變量仍然近似服從正態分佈，即
$\frac{S-\displaystyle\sum_{k=1}^{n}\mu_k}{\displaystyle\sqrt{\sum_{k=1}^{n}\sigma_k^2}}\stackrel{近似}{\sim}N(0,1)$
二項分佈中心極限定理（棣莫弗-拉普拉斯定理）
$\eta$ 服從 $b(n,p)$ 的二項分佈，將其分解爲獨立同分布的0-1分佈之和，則
$\frac{\eta-np}{\sqrt{np(1-p)}}\stackrel{近似}{\sim}N(0,1)$

16. 抽樣分佈

$\chi^2$ 分佈
$X_1, X_2, \cdots, X_n$ 是來自總體 $N(0,1)$ 的樣本，則變量 $\chi^2=X_1^2+X_2^2+\cdots+X_n^2$ 服從自由度爲 $n$ 的 $\chi^2$ 分佈。期望爲 $n$ ，方差爲 $2n$ 。
$\chi square$
$t$ 分佈
獨立變量 $X\sim N(0,1)$ ， $Y\sim \chi^2(n)$ ，則變量 $t=\displaystyle\frac{X}{\sqrt{\frac{Y}{n}}}$ 服從自由度爲 $n$ 的 $t$ 分佈。
$F$ 分佈
獨立變量 $U\sim \chi^2(n_1)$ ， $V\sim \chi^2(n_2)$ ，則變量 $F=\frac{\frac{U}{n_1}}{\frac{V}{n_2}}$ 服從自由度爲 $(n_1,n_2)$ 的 $F$ 分佈。
正態總體的樣本均值、方差分佈
已知正態總體的期望 $\mu$ 和方差 $\sigma^2$ ， $X_1, X_2, \cdots, X_n$ 是來自總體的樣本， $\overline{X}$ 是樣本均值，則
$\overline{X}\sim N(\mu,\frac{\sigma^2}{n})$
已知正態總體的方差 $\sigma^2$ ， $X_1, X_2, \cdots, X_n$ 是來自總體的樣本， $S^2$ 是樣本方差，則
$\frac{(n-1)S^2}{\sigma^2}\sim \chi^2(n-1)$
已知正態總體的期望 $\mu$ 但未知方差， $X_1, X_2, \cdots, X_n$ 是來自總體的樣本， $\overline{X}$ 是樣本均值， $S^2$ 是樣本方差，則
$\frac{\overline{X}-\mu}{\displaystyle\frac{S}{\sqrt{n}}}\sim t(n-1)$
已知兩個正態總體的方差分別爲 $\sigma_1^2$ 和 $\sigma_2^2$ ， $X_1, X_2, \cdots, X_n$ 是來自總體1的樣本， $Y_1, Y_2, \cdots, Y_n$ 是來自總體2的樣本， $S_1^2,S_2^2$ 分別是樣本方差，則
$\frac{\displaystyle\frac{S_1^2}{S_2^2}}{\displaystyle\frac{\sigma_1}{\sigma_2}}\sim F(n_1-1,n_2-1)$