數據挖掘基礎方法_概率統計_1-隨機事件與隨機變量

一 隨機事件

基礎概念

1. 隨機現象
   某個動作或事情，所得結果是預先可能結果中的一個。
2. 樣本空間
   隨機試驗的所有可能結果組成的集合，記作$\Omega$
3. 樣本點
   試驗的每一個可能結果
4. 隨機事件
   樣本空間$\Omega$中滿足一定條件的子集爲隨機事件
5. 必然事件
   樣本空間$\Omega$包含所有結果，是必然事件
6. 不可能事件
   空集

概率

1.定義：
隨機試驗$E$的樣本空間爲$\Omega$，對於每個事件$A$，定義一個實數$P(A)$與之對應，若函數$P(.)$滿足條件：

對每個事件$A$，均有$0<P(A)<=1$;

$P(\Omega)=1$;

若事件$A_1,A_2,A_3,...$兩兩互斥，即對於$i，j=1,2,...，i \neq j ,A_i \cap A_j = \phi$，均有

$P(A_1 \cup A_2 \cup ...)=P(A_1) +P(A_2) +...$

則稱$P(A)$爲事件$A$的概率。

2.主要性質：
對於任一事件$A$，均有$P(\overline{A})=1-P(A)$

對於兩個事件$A$和$B$，若$A \subset B$，則有

$P(B-A) = P(B) - P(A), P(B) >P(A)$

對於任意兩個事件$A$和$B$，有

​ $P(A \cup B) = P(A) + P(B) - P(A\cap B)$

古典概型

• 樣本空間有限
• 每個樣本點出現概率相等
• 每次實驗有且僅有一個樣本點發生

我們將擲骰子游戲進行推廣，設隨機事件 $E$ 的樣本空間中只有有限個樣本點，即 $\Omega= { \omega_1, \omega_2,..., \omega_n }$，其中， $n$ 爲樣本點的總數。每個樣本點$\omega_i (i =1,2,...,n)$出現是等可能的，並且每次試驗有且僅有一個樣本點發生，則稱這類現象爲古典概型。若事件 $A$ 包含個$m$ 個樣本點，則事件 $A$ 的概率定義爲：

$P(A) = \frac{m} {n} = \frac{事件A包含的基本事件數} {基本事件總數}$。

古典概型是不是很簡單，接下來我們基於古典概型進行例題的推廣。坐好了，下面的知識點會涉及排列組合。
​ 假設有 $k$ 個不同顏色的球，每個球以同樣的概率 $1/l$ 落到 $l$ 個格子 $(l>=k)$ 的每個中，且每個格子可容納任意多個球。問，分別求出如下兩個事件 $A$ 和 $B$ 的概率。

$A$ :指定的 $k$ 個格子中各有一個球；
$B$ :存在 $k$ 個格子，其中各有一個球。
我們思考一下，由於每個球可以平均地落入 $l$ 個格子中的任一個，並且每一個格子中可落入任意多個球，所以 $k$ 個球落入 $l$ 個格子中的分佈情況相當於從 $l$ 個格子中選取 $k$ 個的可重複排列，故樣本空間共有 $l^k$ 種等可能的基本結果。

​ 所以，事件 $A$ 所含基本結果數應是 $k$ 個球在指定的 $l$ 個格子中的全排列數，即 $k!$，那麼有

​ $P(A) = \frac{k!} {l^k}$

​ 爲了算出事件 $B$ 所含的基本事件數，我們可以分兩步進行：因爲 $l$ 個格子可以是任意選取的，故可先從 $l$ 個格子中任意選出 $k$ 個出來，那麼選法共有 $C^k_l$ 種。對於每種選定的 $k$ 個格子，依上述各有一個球的推理，則有 $k!$個基本結果，故B含有 $C^k_l*k！$ 個基本結果。那麼有

​ $P(B) = \frac {C^k_lk！} {l^k} = \frac {l！} {l^k（l-k）!}$

​ 我們把上述例子應有到具體的問題中，概率論的歷史上有一個頗爲著名的問題生日問題：求 $k$ 個同班同學沒有兩人生日相同的概率。

​ 如果把這 $k$ 個同學看作上例中的 $k$ 個球，而把一年365天看作格子，即 $l=365$ ，則上述的 $P(B)$就是所要求的概率。我們令 $k=40$ 時，利用上面的公式，則 $P(B) =0.109$。換句話說，40個同學中至少兩個人同一天過生日的概率是：$P(\overline {B}) = 1 - 0.109 =0.891$。其概率大的出乎意料。

這講內容更多地是對概念知識的理解，不太涉及軟件的實現，給出簡單的 $P(B)$ Python實現：

#我們採用函數的遞歸的方法計算階乘：
def factorial(n):
    if n == 0:
        return 1;
    else:
        return (n*factorial(n-1)) 
    
l_fac = factorial(365);          #l的階乘
l_k_fac = factorial(365-40)      #l-k的階乘
l_k_exp = 365**40                #l的k次方

P_B =  l_fac /(l_k_fac * l_k_exp)     #P(B）
print("事件B的概率爲：",P_B)
print("40個同學中至少兩個人同一天過生日的概率是：",1 - P_B)

條件概率

引子:
研究隨機事件之間的關係時，在已知某些事件發生的條件下考慮另一些事件發生的概率規律有無變化及如何變化，是十分重要的。我們先給出定義，然後進行例子的講解與描述。

定義：
設 $A$ 和 $B$ 是兩個事件，且$P(B)>0$，稱 $P(A|B) = \frac {P(AB)} {P(B)}$ 爲在事件 $B$ 發生的條件下，事件 $A$ 發生的概率。

例子：
​ 某集體中有 $N$ 個男人和 $M$ 個女人，其中患色盲者男性 $n$ 人，女性 $m$ 人。我們用 $\Omega$ 表示該集體， $A$ 表示其中全體女性的集合，$B$ 表示其中全體色盲者的集合。如果從 $\Omega$ 中隨意抽取一人，則這個人分別是女性、色盲者和同時既爲女性又是色盲者的概率分別爲：

​ $P(A) = \frac {M} {M+N} , P(B) = \frac {m+n} {M+N} , P(AB) = \frac {m} {M+N}$

如果限定只從女性中隨機抽取一人**(即事件 $A$ 已發生)，那麼這個女人爲色盲者的(條件)**概率爲

​ $P(B|A) = \frac {m} {M} = \frac {P(AB)} {P(A)}$

全概率公式和貝葉斯公式
<1>準備知識
首先我們看一下概率乘法公式和樣本空間劃分的定義；

由條件概率公式，可以得到概率的乘法公式：

$P(AB)=P(B|A)P(A) =P(A|B)P(B)$

如果事件組，滿足

$B_1,B_2,...$ 兩兩互斥，即$B_i\cap B_j = \phi，i \neq j ,i,j = 1,2,...$，且$P(B_i)>0,i=1,2,...$
$B_1 \cup B_2 \cup ... = \Omega$
​ 則稱事件組$B_1,B_2,...$是樣本空間 $\Omega$ 的一個劃分。

<2>全概率公式

設$B_1,B_2,...$是樣本空間 $\Omega$ 的一個劃分，$A$ 爲任一事件，則

​ $P(A) = \sum_{i=1}^{\infty } {P(B_i)}P(A|B_i)$

稱爲全概率公式。
<3>貝葉斯公式
根據全概率公式和概率乘法公式，我們可以得到 貝葉斯公式:
設$B_1,B_2,...$是樣本空間 $\Omega$ 的一個劃分，則對任一事件 $A(P(A)>0)$ ,有

​ $P(B_i|A) =\frac {P(B_i A)} {P(A)} = \frac {P(A|B_i )P(B_i)} {\sum_{j=1}^{\infty }P( B_j)P(A|B_j)} ,i=1,2,...$

稱上式爲貝葉斯公式，稱$P(B_i)(i=1,2,...)$ 爲先驗概率，$P(B_i|A)（i=1,2,...）$爲後驗概率。

<3>例子：
有點懵…，不急，我們看下面的例子吧。
​ 在實際中，常取對樣本空間 $\Omega$ 的有限劃分 $B_1,B_2,...,B_n$ 。 $B_i$ 視爲導致試驗結果 $A$ 發生的“原因”，而$P(B_i)$ 表示各種“原因”發生的可能性大小，故稱爲先驗概率；$P(B_i|A)$ 則反應當試驗產生了結果 $A$ 之後，再對各種“原因”概率的新認識，故稱爲後驗概率 。

​ 假定用血清甲胎蛋白法診斷肝癌。用 $C$ 表示被檢驗者有肝癌這一事件，用 $A$ 表示被檢驗者爲陽性反應這一事件。當前有肝癌的患者被檢測呈陽性反應的概率爲0.95。即 $P(A|C) = 0.95$ 。當前非肝癌的患者被檢測呈陰性反應的概率爲0.9。即 $P(\overline {A}|\overline {C}) = 0.90$ 。若某人羣中肝癌患者概率爲0.0004，即$P(C) = 0.0004$，現在有一人呈陽性反應，求此人確爲肝癌患者的概率是多少？

解：

$P(C|A) = \frac {P(C)P(A|C)} {P(C)P(A|C)+P(\overline {C} )P(A|\overline {C})} =\frac {0.00040.95}{0.00040.95 + 0.9996*0.1} =0.0038$

貝葉斯公式也是在機器學習中樸素貝葉斯的核心，請大家予以重視~！

二 隨機變量

1.隨機變量及其分佈

隨機變量定義：

設 $E$ 是隨機試驗，$\Omega$ 是樣本空間，如果對於每一個 $\omega \in \Omega$ 。都有一個確定的實數 $X(\omega)$ 與之對應，若對於任意實 $x \in R$ , 有 ${\omega ：X(\omega) < x } \in F$ ，則稱 $\Omega$ 上的單值實函數 $X(\omega)$ 爲一個隨機變量。

​ 從定義可知隨機變量是定義在樣本空間 $\Omega$ 上，取值在實數域上的函數。由於它的自變量是隨機試驗的結果，而隨機試驗結果的出現具有隨機性，因此，隨機變量的取值也具有一定的隨機性。這是隨機變量與普通函數的不同之處。

描述一個隨機變量，不僅要說明它能夠取那些值，而且還要關心它取這些值的概率。因此，接下來引入隨機變量的分佈函數的概念。
隨機變量的分佈函數定義：

​ 設 $X$ 是一個隨機變量，對任意的實數 $x$ ，令 $F(x) =P _{X<=x} ,x\in (- \infty ,+ \infty)$​ 則稱 $F(x)$ 爲隨機變量 $x$ 的分佈函數，也稱爲概率累積函數。

直觀上看，分佈函數 $F(x)$ 是一個定義在 $(- \infty, + \infty)$ 上的實值函數， $F(x)$在點 $x$ 處取值爲隨機變量 $X$ 落在區間 $(- \infty, + x]$上的概率 。分佈函數（概率累積函數）很好理解，就是在一個區間範圍內概率函數的累加。這個區間就是負無窮到當前節點。

2. 離散型隨機變量

​ 如果隨機變量 $X$ 的全部可能取值只有有限多個或可列無窮多個，則稱 $X$ 爲離散型隨機變量。擲骰子的結果就是離散型隨機變量。

​ 對於離散型隨機變量 $X$ 可能取值爲 $x_k$的概率爲： $P _{ X =x_k } =p_k,k=1,2,...$ 則稱上式爲離散型隨機變量 $X$ 的分佈律。

我們可以用下表來表示分佈律：
$X$ $x_1$ $x_2$ … $x_n$ …
$p_k$ $p_1$ $p_2$ … $p_n$ …
離散型隨機變量的分佈函數爲： $F (x) = P _{ X<=x } =\sum_{x_k <=x}{ P _{ X=x_k } } = \sum_{x_k <=x}{ P_k}$

3.常見的離散型分佈

<1>.伯努利實驗，二項分佈
定義：

如果一個隨機試驗只有兩種可能的結果 $A$ 和 $\overline A$，並且

$P(A) = p，P(\overline A) =1-p=q$

其中， $0<p<1$ ，則稱此試驗爲Bernoulli(伯努利)試驗. Bernoulli試驗獨立重複進行 $n$ 次，稱爲 $n$ 重伯努利試驗。

看例子
從一批產品中檢驗次品，在其中進行有放回抽樣 $n$ 次，抽到次品稱爲“成功”，抽到正品稱爲“失敗“，這就是 $n$ 重Bernoulli試驗。

設 $A = \{ n重伯努利試驗中A出現k次\}$ 則 $P(A_k） =C^k_np^k(1-p)^{n-k},k=0,1,2,...n.$ 這就是著名的二項分佈，常記作 $B(n，k）$。

解釋：一共抽了 $n$ 次，$k(k<n)$ 次抽中了 $A$ ,概率爲 $p$ ,那麼 $n-k$ 次抽中了非 $A$，概率爲 $1-p$ 組合的次數就是 $C^k_n$ 。所以 $P(A_k） =C^k_np^k(1-p)^{n-k},k=0,1,2,...n.$

分佈函數：
若隨機變量 $X$ 的分佈律爲： $P _{ X =k } =C^k_np^k(1-p)^{n-k},k=0,1,2,...n.$ 其分佈函數爲： $F（x） = \sum_{k=}^{[x]} {C^k_np^k(1-p)^{n-k}},k=0,1,2,...n.$ 其中， $[x]$ 表示下取整，即不超過 $x$ 的最大整數。

4.隨機變量的數字特徵

<1>.數學期望
離散型：設離散型隨機變量 $X$ 的分佈律爲 $P _{ X=x_i} = p_i ,i =1，2，...$ 若級數 $\sum_{i} {|x_i|p_i}$ 收斂，

（收斂指會聚於一點，向某一值靠近，相對於發散）。則稱級數 $\sum_{i} {x_ip_i}$的和爲隨機變量 $X$ 的數學期望。記爲 $E(X)$ ,即：

$E(X) = \sum_{i} {x_ip_i}$

設連續型隨機變量 $X$ 的概率密度函數爲 $f(x)$ ,若積分 $\int_{- \infty}^{+ \infty}{|x|f（x）}dx$ 收斂， 稱積分 $\int_{- \infty}^{+ \infty}{xf（x）}dx$ 的值爲隨機變量 $X$ 的數學期望，記爲 $E(X)$ ,即： $E(X)= \int_{- \infty}^{+ \infty}{xf（x）}dx$ $E(X)$ 又稱爲均值。
數學期望代表了隨機變量取值的平均值，是一個重要的數字特徵。數學期望具有如下性質：

若 $c$ 是常數，則 $E(c) =c$ ;
$E(aX+bY) = aE(X) +bE(Y)$ , 其中a, b爲任意常數；
若 $X, Y$ 相互獨立，則$E(XY) = E(X)E(Y)$ ; （相互獨立就是沒有關係，不相互影響）。
<2>.方差
設 $X$ 爲隨機變量，如果 $E\{ [X-E(X)]^2\}$ 存在，則稱 $E\{ [X-E(X)]^2\}$ 爲 $X$ 的方差。記爲 $Var(X)$ , 即：
$Var （X） =E\{ [X-E(X)]^2\}$

​ 並且稱 $\sqrt{Var(X)}$ 爲 $X$ 的標準差或均方差。

方差是用來描述隨機變量取值相對於均值的離散程度的一個量，也是非常重要的數字特徵。方差有如下性質:

• 若 $c$ 是常數，則 $Var(c) =0$ ;
• $Var(aX+b) = a^2Var(X)$ , 其中a, b爲任意常數；
• 若 $X, Y$ 相互獨立，則$Var(X\underline+Y) = Var(X) +Var(Y)$ 。

<3>協方差和相關係數
協方差和相關係數都是描述隨機變量 $X$ 與隨機變量 $Y$ 之間的線性聯繫程度的數字量。

設 $X, Y$ 爲兩個隨機變量，稱 $E\{ [X-E(X)] [Y-E(Y)]\}$ 爲 $X$ 和 $Y$ 的協方差，記爲 $Cov(X, Y)$，即： $Cov(X, Y) = E\{ [X-E(X)] [Y-E(Y)]\}$ 協方差有如下性質：

$Cov(X, Y) = Cov(Y, X)$ ;

$Cov(aX+b，cY+d) =ac Cov( X，Y)$ ,其中， $a,b,c,d$ 爲任意常數；

$Cov(X_1+X_2，Y) =Cov( X_1，Y) +Cov( X_2，Y)$ ;

$Cov(X，Y) =E( X，Y) -E( X)E(Y)$ ; 當 $X,Y$ 相互獨立時，有 $Cov(X，Y) = 0$;

$|Cov(X，Y)| = \sqrt {Var(X)} \sqrt {Var(Y)}$;

$Cov(X，X) =Var( X)$ ;

當 $\sqrt {Var(X)} >0 ，\sqrt {Var(Y)} >0$ 時，稱 $\rho（X,Y） = \frac{Cov(X，Y)}{\sqrt {Var(X)} \sqrt {Var(Y)}}$ 爲 $X,Y$ 的相關係數，它是無綱量的量（也就是說沒有單位，只是個代數值）。

基本上我們都會用相關係數來衡量兩個變量之間的相關程度。相關係數在-1到1之間，小於零表示負相關，大於零表示正相關。絕對值 $|\rho（X,Y）|$ 表示相關度的大小。越接近1，相關度越大。