概率論專題複習

各種分佈

①：01分佈 B（Binary）

二項分佈

$X \sim B(n,p)$
$E(X)=np$
$D(X)=np(1-p)$

②：泊松分佈 P（Poisson）

$X\sim P(\lambda)$
$E(X)=D(X)=\lambda$
$p\{x=k\}=\frac{\lambda^k}{k!}e^{-\lambda}$

理解

因爲概率和爲1
$\sum_{k=0}^{\infty}\frac{\lambda^k}{k!}e^{-\lambda}=1$
所以：
$\sum_{k=0}^{\infty}\frac{\lambda^k}{k!}=e^{\lambda}$
其實是$e^{\lambda}$的泰勒展開變形

③：均勻分佈 U（Uniform）

$X\sim U(a,b)$
$E(X)=\frac{a+b}{2}$
$D(X)=\frac{(b-a)^2}{12}$

④：指數分佈 E（Exponential）

$X\sim E(\lambda)$
$E(X)=\frac{1}{\lambda}$
$D(X)=\frac{1}{\lambda^2}$
$X\sim f(x)=\left\{\begin{matrix} \lambda e^{-\lambda x},x>0 \\ 0,x\leq0 \end{matrix}\right.$

要背一哈積分

$p{x>t}=\int_t^{+\infty}\lambda e^{-\lambda t}dt=e^{-\lambda t}$

無記憶性

$p{x>t+s|x>s}=\frac{p(x>t+s\ \ ,\ \ x>s)}{p(x>s)}=\frac{p(x>t+s)}{p(x>s)}=\frac{e^{-\lambda(t+s)}}{e^{-\lambda s}}=e^{-\lambda t}$

⑤： 正態分佈 N（Normal）

$X\sim N(\mu,\sigma^2)$
$E(X)=\mu$
$D(X)=\sigma^2$
$X\sim f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$

標準正態

$X\sim N(0,1)$
用$\varphi(x)$來表示
$\varphi(x)\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}$

分佈函數

用$\phi$來表示
有個對稱性的性質：
$\phi(x)=1-\phi(-x)$

一.獨立事件

1

①：
$\overline{A\cup B}=\bar{A}\cap \bar{B}$
②：
$\overline{A\cap B}=\bar{A}\cup \bar{B}$
③：
$\overline{A- B}=\bar{A}\cup B$
這個感覺有點少見

2

①：
$p(B|A)=p(B|\bar A)=p(B)$

證明：

$p(B|A)=\frac{p(AB)}{p(A)}=\frac{p(A)p(B)}{p(A)}=p(B)$
$p(B|\bar A)$同理

②：
$p(A|B)=1-p(\bar A|\bar B)$
這個怎麼來的？？？

二.複合概率密度函數

$X\sim f(x),Y\sim g(f(x))$

定義法

$f_Y(y)=F'_Y(y)$
而
$F_Y(y)=p(Y\leq y)=p(g(x)\leq y)=\int_{g(x)\leq y}f_x(x)dy$

一個結論

根據王式安老師說的，好像是個定理，要研究生的課才上
如果：
$X\sim f(x),F(x)$
並且有$Y=F(X)$這個代換，那麼
$Y\sim U(0,1)$

簡略理解證明

$Y\sim F_Y(y)=p(Y\leq y)=p(F(X)\leq y)=p(X\leq F^{-1}(y))=F(F^{-1}(y))=y$

$f_x(x),f_X(x),f_x(X),f_X(X)$

協方差

$Cov(X,Y)=E\{[X-E(X)][Y-E(Y)]\}=E(XY)-E(X)E(Y)$

協方差的性質

①：
$Cov(aX,bY)=abCov(X,Y)$
②：
$Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$
用協方差來計算和的方差
$D(X\pm Y)=D(X)\pm2Cov(X,Y)+D(Y)$

相關係數

$\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)D(Y)}}$

大數定理 中心定理

切比雪夫不等式

$p(|X-E(X)|\geq \varepsilon)\leq\frac{D(X)}{\varepsilon^2}$

切比雪夫大數定理 辛欽大數定理

大數定理這一節，截個王式安老師的圖：

伯努利大數定理可以看成是上面兩個的特殊情況
反正就是求期望就完事了~

中心定理

意思就是說加起來近似正態分佈

樣本及抽樣分佈

樣本均值

$\overline X=\frac{1}{n}\sum_{i=1}^nX_i$

樣本方差

$S^2=\frac{1}{n-1}\sum_{i-1}^n(X_i-\overline X)^2$
樣本方差闊以化爲兩種形狀：
①：
$\frac{1}{n-1}\sum_{i-1}^n(X_i-\overline X)^2=\frac{1}{n-1}[\sum_{i=1}^nX_i^2-n\overline X^2]$
過程：
$S^2=\frac{1}{n-1}\sum_{i-1}^n(X_i-\overline X)^2=\frac{1}{n-1}\sum_{i-1}^n(X_i^2-2X_i\overline X+\overline X^2)=\frac{1}{n-1}[\sum_{i-1}^nX_i^2-2\overline X\sum_{i=1}^nX_i+\sum_{i=1}^n\overline X^2]=\frac{1}{n-1}[\sum_{i-1}^nX_i^2-2\overline X\cdot n\overline{X}+\sum_{i=1}^n\overline X^2]=\frac{1}{n-1}(\sum_{i-1}^nX_i^2-n\overline X^2)$
②：
$\frac{1}{n-1}\sum_{i-1}^n(X_i-\overline X)^2=\sum_{i=1}^n(X_i-\mu)^2-n(\overline X-\mu)^2$
過程：
$\frac{1}{n-1}\sum_{i-1}^n(X_i-\overline X)^2=\frac{1}{n-1}\sum_{i-1}^n[(X_i-\mu)-(\overline X-\mu)]^2=\frac{1}{n-1}\sum_{i-1}^n[(X_i-\mu)^2-2(X_i-\mu)(\overline X-\mu)+(\overline X-\mu)^2]=\sum_{i=1}^n[(X_i-\mu)^2-(\overline X-\mu)^2]=\sum_{i=1}^n(X_i-\mu)^2-n(\overline X-\mu)^2$

這兒有篇蘇劍林寫的關於無偏估計的：爲啥是n-1

$E(\overline X)=E(\frac{1}{n}\sum_{i=1}^nX_i)=\sum_{i=1}^nE(\frac{1}{n}X_i)=\sum_{i=1}^n\frac{1}{n}\mu=\mu$
$D(\overline X)=D(\frac{1}{n}\sum_{i=1}^nX_i)=\sum_{i=1}^nD(\frac{1}{n}X_i)=\sum_{i=1}^n\frac{1}{n^2}D(X_i)=\sum_{i=1}^n\frac{1}{n^2}\sigma^2=\frac{\sigma^2}{n}$
$E(S^2)=\frac{1}{n-1}[\sum_{i=1}^nE(X_i^2)-nE(\overline X^2)]=\frac{1}{n-1}[\sum_{i=1}^n(D(X_i)+E^2(X_i))-n(D(\overline X)+E^2(\overline X))]=\frac{1}{n-1}[\sum_{i=1}^n(\sigma^2+\mu^2)-n(\frac{\sigma^2}{n}+\mu^2)]=\frac{1}{n-1}[n\sigma^2+n\mu^2-\sigma^2-n\mu^2]=\frac{1}{n-1}[(n-1)\sigma^2]=\sigma^2$

開方分佈

$X\sim \chi^2(n)$
$E(X)=n$
$D(X)=2n$
還有一個關於 開方分佈 與 樣本方差 的一個定理，感覺經常用，但是證明很麻煩，是書上P143，證明在章末附錄
$\frac{(n-1)S^2}{\sigma^2}\sim\chi^2(n-1)$

t分佈

$X\sim N(0,1)\\Y\sim \chi^2(n)$
$T=\frac{X}{\sqrt{Y/n}}$
$t_{1-\alpha}(n)=-t_{\alpha}(n)$
關於 t分佈 與 樣本方差 的一個定理
$T=\frac{\overline X-\mu}{\sqrt{S^2/n}}\sim t(n-1)$

正態總體的樣本均值與樣本方差的分佈

①：
$\overline X\sim N(\mu,\frac{\sigma^2}{n}),\frac{\overline X-\mu}{\sqrt{\sigma^2/n}}\sim N(0,1)$
②：
$\overline X與S^2相互獨立，且\frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)$
③：
$T=\frac{\overline X-\mu}{\sqrt{S^2/n}}\sim t(n-1)$
背一個積分
$\int_0^\infty x^ne^{-x}dx=n!$