有意思的概率——常用概率公式和術語辨析

該系列博客旨在對概率論和統計學的相關概念和應用進行一個整體的梳理，既記錄自己的學習過程，也可以爲大家提供一個參考。

在上一篇博客中，我首先對概率論和統計學的一些基本概念進行了一個大概的梳理和掃盲，這些概念如果大家學過概率論和數理統計課程的話，肯定都會比較熟悉，但是仍然需要進行一個集中的闡釋，畢竟基礎概念纔是理解更加深層次知識的基石。

這篇博客則重點彙總一下常用的概率公式和一些術語的辨析，方便大家查詢和使用，有些公式的具體細節，我會在後續的博文中進行進一步的解釋和說明，盡請期待！: )

概率相加公式

$P(A+B)=P(A)+P(B)-P(AB)$
公式描述：
概率相加公式表示事件A或事件B任一事件發生的概率（包括兩者同時發生）等於A事件發生的概率+B事件發生的概率-A事件和B事件同時發生的概率。
該公式其實可以通過韋恩圖就很容易推導和記憶。
擴展：
如果事件A和事件B不可能同時發生，我們稱A事件和B事件爲互斥事件，此時有$P(AB)=0$，則上述公式變爲：
$P(A+B)=P(A)+P(B)$

概率相乘公式

$P(AB)=P(A)P(B|A)=P(B)P(A|B)$
公式描述：
概率相乘公式聯繫起了聯合概率、邊緣概率和條件概率三者之間的關係，其表示了事件A和事件B同時發生的概率等於A事件發生的概率乘以在A發生的條件下B發生的概率。
擴展：
如果事件A的發生和事件B沒有任何關係，比如你拋一枚硬幣和擲一個骰子出現的結果沒有任何聯繫，此時稱事件A和事件B爲獨立事件，則有$P(A|B)=P(A)$，則概率相乘公式變爲：
$P(AB)=P(A)P(B)$

全概率公式

若事件$A_1，A_2，…A_n$構成一個完備事件組且都有正概率，則對任意一個事件B，有如下公式成立：
$P(B)=P(BA_1)+P(BA_2)+...+P(BA_n)=P(B|A_1)P(A_1) + P(B|A_2)P(A_2) + ... + P(B|A_n)P(A_n)$
即：
$P(B)=\sum^{n}_{i}P(BA_i)=\sum^{n}_{i}P(B|A_i)P(A_i)$
此公式即爲全概率公式。

全概率公式爲概率論中的重要公式，它將對一複雜事件的概率求解問題轉化爲了在不同情況下發生的簡單事件的概率的求和問題。

概率論鏈式法則

對於概率相乘公式進行一般化，也就得到任意多維隨機變量的聯合分佈，也就是概率論鏈式法則。
對於3個事件的概率鏈式調用：
$P(a, b, c) = P(a | b, c) * P(b, c) = P(a | b, c) * P(b | c) * P(c)$
推廣到N個事件，概率鏈式法則長這樣：
$P(X1, X2, ... Xn) = P(X1 | X2, X3 ... Xn) * P(X2 | X3, X4 ... Xn) ... P(Xn-1 | Xn) * P(Xn)$
鏈式法則主要可以用來化簡一些概率公式和概率求解過程，具體例子可以參考這裏

獨立和條件獨立

相互獨立的隨機變量我們可能比較清楚了，從上面的概率相乘公式中也可以得出判斷隨機變量相互獨立的條件。

但還有一個條件獨立的概念，這個概念的定義是如果$X,Y$ 在給定條件 $Z=z$ 時滿足相互獨立, 即
$∀x∈X,y∈Y,z∈Z,p(X=x,Y=y|Z=z)=p(X=x|Z=z)p(Y=y|Z=z)$
此時我們就說隨機變量 $X$和$Y$在給定隨機變量$Z$時是條件獨立的(conditionally independent), 簡記爲 $X⊥Y|Z$, 幾何上可以看做給定基底$Z$時, $X,Y$是正交的。

條件獨立還有另外一種表達方式，即$X$、$Y$在給定隨機變量$Z$是條件獨立的，如果：
$P(X|Y,Z)=P(X|Z)$