(概率論與數理統計)ch02

17. 隨機變量:
    假如一個變量在數軸上的取值依賴於隨機現象的基本結果,則稱此變量爲隨機變量.

18. 累計概率分佈函數(分佈函數): $F(x)=P(X\leqslant x)$

19. 可列可加性公理:
    $P(\bigcup_{n=1}^{\infty}A_n)=\sum_{n=1}^{\infty}P(A_n)$

20. 二項分佈的期望:$X\sim b(n,p)$
    $E(X)=\sum_{x=0}^{n}xC_n^xp^x(1-p)^{n-x}=np$

21. 泊松定理:在n重伯努利試驗中,以$p_n$表示在一次實驗中成功發生的概率.且隨着n增大,$p_n$在減小.若$n \rightarrow \infty$時,$\lambda_n=np_n \rightarrow \lambda$,$\lambda>0$.則出現x次成功的概率爲
    $C_n^xp^x_n(1-p_n)^{n-x} \rightarrow \frac{\lambda^x}{x!}e^{-\lambda}$
    證明:
    $\begin{array}{l}\left(\begin{array}{l}n \\ x\end{array}\right) p_{n}^{x}\left(1-p_{n}\right)^{n-x} \\ =\frac{n(n-1) \cdots(n-x+1)}{x !}\left(\frac{\lambda_{n}}{n}\right)^{x}\left(1-\frac{\lambda_{n}}{n}\right)^{n-x} \\ =\frac{\lambda_{n}^{x}}{x !}\left(1-\frac{1}{n}\right)\left(1-\frac{2}{n}\right) \cdots\left(1-\frac{x-1}{n}\right)\left(1-\frac{\lambda_{n}}{n}\right)^{n-x}\end{array}$
    注意,又因爲下面的極限成立
    $\begin{array}{l}\lim _{n \rightarrow \infty} \lambda_{n}=\lambda \\ \lim _{n \rightarrow \infty}\left(1-\frac{\lambda_{n}}{n}\right)^{n-x}=e^{-\lambda}\end{array}$
    所以原式成立.值得注意的是,這個分佈和二項分佈不同之處在於,$p_n$是會變化的.它會取極限.

22. 泊松分佈:根據泊松定理可得 $X\sim P(\lambda)$
    $\sum_{x=1}^{\infty}\frac{\lambda^x}{x!}e^{-\lambda}=e^{\lambda}\sum_{x=1}^{\infty}\frac{\lambda^x}{x!}=e^{-\lambda}e^{\lambda}=1$
    可見泊松定理推出的一個分佈公式,實際上是一個概率分佈.這個概率分佈是一個典型的離散型分佈.隨機變量取值爲所有非負整數.

23. 泊松分佈的期望:
    $\begin{aligned} E(X) &=\sum_{x=0}^{\infty} x \cdot \frac{\lambda^{x}}{x !} e^{-\lambda} \\ &=\lambda e^{-\lambda} \sum_{x=1}^{\infty} \frac{\lambda^{x-1}}{(x-1) !}=\lambda \end{aligned}$

24. 泊松分佈,總與計數過程相關聯,並且計數是在一定時間內或一定區域內,或特定單位內的前提下進行的.比如

    • 在一定時間內,電話總站接錯電話的次數;

    • 在一定時間內, 在超市排隊等候付款的顧客人數;

    • 在一定時間內,來到車站等候公共汽車的人數;

    • 在一定時間內, 某操作系統發生故障的次數;

    • 在一個穩定的團體內,活到100歲的人數;

    • 一匹布上,瑕疵點的個數;

    • 100頁書上,錯別字的個數;

    • 一個麪包上,葡萄乾的個數;

25. 超幾何分佈:N個產品,其中M個次品.如果進行不放回抽樣.那麼如果抽n次,拿到次品數量的概率分佈.$h(n,N,M)$
    $\begin{aligned} P(X=x) &=\frac{\left(\begin{array}{l}M \\ x\end{array}\right)\left(\begin{array}{l}N-M \\ n-x\end{array}\right)}{\left(\begin{array}{l}N \\ n\end{array}\right)} \\ & x=0,1, \cdots, r \end{aligned}$
    其中$r=min(n,M)$,其中我們可以看到的是
    $\sum_{x=0}^{r}\left(\begin{array}{l}M \\ x\end{array}\right)\left(\begin{array}{c}N-M \\ n-x\end{array}\right)=\left(\begin{array}{l}N \\ n\end{array}\right)$
    由此可見 $\sum_{x=0}^{r}P(X=x)=1$

26. 連續隨機變量的概率密度函數 $p(x)\geqslant 0$
    $\int_{-\infty}^{+\infty}{p(x)dx}=1$
    $P(a\leqslant X\leqslant b)=\int_{a}^{b}{p(x)dx}$

27. 均勻分佈 $X\sim U(a,b)$

28. 指數分佈 $X\sim Exp(\lambda)$

    $p(x)=\left\{ \begin{aligned} \lambda e^{-\lambda x},x\geqslant 0\\ 0, x<0 \end{aligned} \right.$ 不少產品首次發生故障的時間T服從指數分佈.

29. 隨機變量的分佈函數
    $F(x)=P(X\leqslant x)=\int_{-\infty}^{x}{p(x)dx}$

    • 均勻分佈 $F(x)=\left\{ \begin{aligned} 0&, x<a\\ \frac{x-a}{b-a}&,a\leqslant x\leqslant b\\ 1&,x>b \end{aligned} \right.$

    • 指數分佈 $F(x)=\left\{ \begin{aligned} 0&, x<0\\ 1-e^{-\lambda x}&,x\geqslant 0 \end{aligned} \right.$

30. 連續隨機變量分佈函數的一些性質

    • $F(x)$是連續函數

    • $P(X=x)=0$,零概率事件和不可能事件$\varPhi$,是有差別的.0️零概率事件不全是不可能事件.同理必然事件的概率爲1.但是概率爲1的事件不全是必然事件.概率爲1的事件實際上是幾乎必然發生的事件.

    • $\left. \begin{aligned} P(a\leqslant X\leqslant b)&=P(a\leqslant X<b)\\ &=P(a<X\leqslant b)\\ &=P(a<X<b) \end{aligned} \right.$

    • $F^{'}(x)=p(x)$

31. $P(x;p_1(x)=p_2(x))=1$, 兩個函數在概率論中成爲幾乎處處相等.比如
    $p_{1}(x)=\left\{\begin{array}{ll}\frac{1}{b-a}, & a<x \leqslant b \\ 0 & , \text { other }\end{array}\right.$
    $p_{2}(x)=\left\{\begin{array}{ll}\frac{1}{b-a}, & a<x<b \\ 0 & \text{other},\end{array}\right.$

32. 已知隨即變量X的分佈函數$F_X(x)$和密度函數爲$p_X(x)$,又設$Y=g(x)$,其中$g$是嚴格單調的函數.且導數$g^{'}(\cdot)$存在.則$Y$的概率密度函數爲
    $p_Y(y)=p_X(h(y))|h^{'}(y)|$ $h(y)$ 是
    $y=g(x)$的反函數,$h^{'}(y)$是其導數.
    證明:
    $\begin{aligned} F_{Y}(y) &=P(Y \leqslant y)=P(g(X) \leqslant y) \\ &=P(X \leqslant h(y))=F_{X}(h(y)) \\ p_{Y}(y) &=p_{X}(h(y)) \cdot h^{\prime}(y) \end{aligned}$

33. 均勻分佈的數學期望 $E(x)=\frac{a+b}{2}$

34. 指數分佈的期望 $E(X)=\frac{1}{\lambda}$

35. 期望不存在的分佈舉例.柯西分佈
    $p(x)=\frac{1}{\pi (1+x^2)},-\infty<x<\infty$ 因爲積分,
    $\frac{1}{\pi}\int_{-\infty}^{\infty}{\frac{|x|}{1+x^2}dx}$ 無限.

36. 正態分佈
    $p(x)=\frac{1}{\sqrt{2\pi}\sigma}Exp(-\frac{(x-\mu)^2}{2\sigma^2}), -\infty<x<\infty$

37. 正態分佈的例子描述

    • 測量誤差$\epsilon$可以用正態分佈描述.

    • 關頭自動包裝上重量y與標準重量m偏差$\delta$服從正態分佈.

    • 大批量製造的東西的尺寸和標準尺寸之差服從正態分佈.

    • 同齡人的身高體重

    • 人的收入

    • 一個地區降雨量

    • 超市出售的雞蛋重量

38. 正態分佈的應用:

    • 許多分佈可用正態分佈做近似.

    • 從正態分佈中可以導出一些有用的分佈.$\chi^2$分佈,$t$分佈,以及$F$分佈.

39. 正態分佈的期望 $E(x)=\mu$

40. 標準正態分佈
    $\varphi(u)=\frac{1}{\sqrt{2\pi}}Exp(-\frac{u^2}{2}),-\infty<u<\infty.$
    $\Phi(u)=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{u}{Exp(-\frac{x^2}{2})dx}$
    $\Phi(-u)=1-\Phi(u)$

41. 正態分佈的線性變換
    $X\sim N(\mu,\sigma^2) \rightarrow U=\frac{X-\mu}{\sigma}$

42. 正態分佈的計算
    $F(a<X<b)=\Phi(\frac{b-\mu}{\sigma})-\Phi(\frac{a-\mu}{\sigma})$
    $P(X<b)=\Phi(\frac{b-\mu}{\sigma})$
    $P(X>a)=1-\Phi(\frac{a-\mu}{\sigma})$

43. 伽馬函數如下所示
    $\Gamma(\alpha)=\int_{0}^{\infty}{x^{\alpha-1}e^{-x}dx},\alpha>0$

    • $\Gamma(1)=1,\Gamma(\frac{1}{2})=\sqrt{\pi}$

    • $\Gamma(\alpha+1)=\alpha\Gamma(\alpha)$,對於自然數有$\Gamma(n+1)=n!$

    • $\int_{0}^{\infty}{x^{\alpha-1}e^{-\lambda x}dx}=\Gamma(\alpha)/\lambda^{\alpha}$

44. 伽馬分佈的概率密度函數,$X\sim Ga(\alpha,\lambda)$ $p(x)=\left\{ \begin{aligned} &\frac{\lambda^{\alpha}}{\Gamma(\alpha)}x^{\alpha-1}e^{\lambda x}&, x>0\\ &0&, x\leqslant 0 \end{aligned} \right.$ 其中$\alpha>0$稱爲形狀參數,$\lambda>0$稱爲尺度函數.

45. 伽馬分佈的數學期望爲 $E(x)=\frac{\alpha}{\lambda}$

46. $\alpha=1$的伽馬分佈就是指數分佈.

47. 指數分佈$X\sim Exp(\lambda)$無記憶性 $P(X>s+t|X>s)=P(X>t)$

48. $\lambda=\frac{1}{2}$,
    $\alpha=\frac{n}{2}$的伽馬分佈稱爲自由度爲n的$\chi^2$分佈.$X\sim \chi^2$
    $E(x)=n=\frac{\alpha}{\lambda}$
    $p(x)=\frac{1}{\Gamma(\frac{n}{2})2^{n/2}}x^{\frac{n}{2}-1}e^{-\frac{x}{2}},x>0$

49. 貝塔函數
    $\beta(a,b)=\int_{0}^{1}{fdx}x^{n-1}(1-x)^{b-1}dx,a>0,b>0$

    • $\beta(a,b)=\beta(b,a)$

    • $\beta(a,b)=\frac{\Gamma(a)\Gamma(b)}{\Gamma(a+b)}$

50. 貝塔分佈的,概率密度函數,$X\sim Be(a,b)$
    $p(x)=\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}x^{a-1}(1-x)^{b-1},0\leqslant x\leqslant 1$
    其中a,b都是形狀參數,且都爲正.

    • 不合格率,服從它

    • 機器維修率

    • 打靶命中率

    • 市場佔有率

    也就是說各種比率,的話.它們一般服從beta分佈.

51. beta分佈的數學期望 $E(x)=\frac{a}{a+b}$

52. $a=b=1$的beta分佈實際上就是$[0,1]$上的均勻分佈.

53. 設隨機變量X以及其函數g(X)的數學期望都存在.那麼 $E[g(X)]=\left\{ \begin{aligned} \sum_ig(x_i)p(x_i)\\ \int_{-\infty}^{\infty}{g(x)p(x)dx} \end{aligned} \right.$

54. $E[cg(X)]=cE[g(X)]$

55. $E[g(X)\pm h(X)]=E[g(X)]\pm E[h(X)]$

56. $E[c]=c$

57. 方差的定義$Var[X]=E[X-E(X)]^2$,標準差$\sqrt{Var[X]}$

58. $Var[c]=0$

59. $Var[aX+b]=a^2Var[X]$

60. $Var[X]=E(X^2)-E[X]^2$

61. 二項分佈$b(n,p)$的方差爲$np(1-p)$

62. 均勻分佈的方差爲$(b-a)^2/12$

63. 伽馬分佈的方差爲$\alpha/\lambda^2$

    • $\alpha=1$,$Y\sim Exp(\lambda),E(Y)=\lambda^{-1},Var[Y]=\lambda^{-2},\sigma[X]=^{-\lambda}$

    • $\alpha=\frac{n}{2},\lambda=\frac{1}{2}$,$Z\sim \chi^2(n)$,
      $E[Z]=n,Var[Z]=2n$

64. 切比雪夫不等式
    $P(|X-E[X]|\geqslant \epsilon)\leqslant \frac{Var[X]}{\epsilon^2}$

    • 這個不等式對於連續或者離散的都成立.

    • 這個等式是描述概率曲線兩端的和小於某個值.

65. 方差爲0的隨機斌量X必幾乎處處爲常數.這個常數就是其期望$E(X)$,這個定理亦可表示爲:若$Var[X]=0,$則$P(X=E[X])=1$

66. 貝努力大數定律:
    設$X_n$是n重貝努力試驗中事件A發生的次數.又設事件A發生的概率$P(A)=p$,則對任意的$\epsilon>0$,有
    $\lim_{n\rightarrow 0}P(|\frac{X_n}{n}-p|\geqslant \epsilon)=0$
    這個就是弱大數定理.偏差幾乎處處爲0,但是不代表就不存在偏差.

67. 矩,c爲常數,k爲正整數.則$E(X-c)^k$稱爲X分佈關於c的k階矩.

    • $c=0$,則$E[X]^k$稱爲X分佈的k階原點矩.記作$\mu_k$;

    • $c=E[X]$,則$E[X-E[X]]^k$,稱爲X分佈的k階中心矩.記爲$\upsilon_k$

    • 一階原點矩就是期望,二階中心距就是方差.

    • 中心距和原點矩之間的關係
      $\upsilon_k=\sum_{i=1}^{k}C_k^i\mu_i(-\mu_1)^{k-i}$

68. 變異係數
    $C_{\upsilon}=\frac{\sqrt{\upsilon_2}}{\mu_1}=\frac{\sqrt{Var[X]}}{E[X]}$

    變異係數,可以用來衡量從北京到上海的某些測量結果$E[X]=1464(kilometer), \sigma(X)=500(meter), C_{\upsilon}=0.00034$,還有你測量100m的參數,$E[Y]=100m, \sigma[Y]=0.05m, C_{\upsilon}-0.0005$,由此可見還是前者更爲精確.

69. 偏度
    $\beta_1=\frac{\upsilon_3}{(\upsilon_2)^{3/2}}=\frac{E[X-E[X]]^3}{[E[X-EX]^2]^{3/2}}$

    正態分佈的三階中心距$\upsilon_3=0 \rightarrow \beta_1=0$.

70. 峯度 $\beta_2=\frac{\upsilon_4}{\upsilon_2^2}$

    • 實際上$\beta_2$是任一標準化變量與標準化正態分佈的四節遠點矩之差.

    • 峯度刻畫的是圖像和標準正態分佈的圖像比.是否更尖或者更平.

    • $\beta_2>0$,更尖.

    • $\beta_2<0$,更爲平坦.

71. 中位數 $F(x_{0.5})=\int_{-\infty}^{x_{0.5}}{p(x)dx}=0.5$
    也就是圖像在$x_{0.5}$右邊的概率和等於右邊的概率和.

    • 中位數一定存在,但是期望卻不一定.

    • 分佈對稱時,對稱中心就是中位數.

72. 分位數
    $F(x_{\alpha})=\int_{-\infty}^{x_{\alpha}}{p(x)dx}=\alpha,0<\alpha<1$
    下側分位數
    $1-F(x^{'}_{\alpha})=\int_{x^{'}_{\alpha}}^{\infty}{p(x)dx}=\alpha$

73. 衆數,離散時,代表發生次數最多的事件.連續時,代表概率曲線的最大值
    衆數用$Mod(X)$表示.