理解貝葉斯定理

條件概率

先要從條件概率講起，條件概率，一般記作P(A|B)，意思是當B事件發生時，A事件發生的概率。其定義爲
$P(A|B)=\frac{P(A\cap B)}{P(B)}$
其中 $P(A \cap B)$ 意思是A和B共同發生的概率，稱爲聯合概率。也可以寫作 P(A,B) 或 P(AB)。
注意，定義中A與B之間不一定有因果或者時間序列關係。

條件概率的這個定義如何理解呢？

1. 樣本空間
   回顧一下，樣本空間是一個實驗或隨機試驗所有可能結果的集合。例如，拋擲一枚硬幣，那麼樣本空間就是集合{正面，反面}。如果投擲一個骰子，那麼樣本空間就是 {1,2,3,4,5,6}。樣本空間的任何一個子集都被稱爲一個事件。
   所以，當我們通常說某個事件的概率時，其實是默認省略了該事件的樣本空間。比如說事件A的概率是P(A)，其實是指，在樣本空間 Ω 中，事件A的數量佔Ω的比率，記作P(A)。比如說骰子擲出3點的概率是1/6，其實是說，在擲骰子所有可能結果的集合中（樣本空間）中，出現事件”3點“（子集）的比率是1/6。也就是 size{3} / size{1,2,3,4,5,6} = 1/6。

2. 條件意味着縮小的樣本空間，是二級概率
   通常說概率P(A)是針對樣本空間 Ω 來說的，而條件概率中的條件，比如P(A|B)，意思是事件B發生的情況下，因此非B的樣本空間被這個條件排除掉了，所以這時P(A|B)已經不是針對 樣本空間 Ω 了，而是針對縮小的樣本空間 B。

結合上圖來理解。原來樣本空間是 Ω，事件B發生，意味着樣本空間縮小到B的範圍，即上圖黃色橢圓範圍內。同時事件A也發生，也就是上圖中 A∩B 藍色部分，藍色部分對黃色橢圓的佔比，就是條件概率 P(A|B)。可以寫作
$P(A|B)=\frac{size\{A∩B\}}{size\{B\}} \quad(1)$

如果考慮到
$P(A∩B) = \frac{size\{A∩B\}}{size\{\Omega\}} \\ P(B) = \frac{size\{B\}}{size\{\Omega\}}$
所以
$P(A|B)=\frac{P(A\cap B)}{P(B)} \quad(2)$

公式(2)就是通常條件概率的定義。要注意的是，如果用公式(1)，就是要窮舉事件（集合）"A∩B"和"B"的所有情況。如果用公式(2)，要注意P(A∩B)和P(B)都是相對整個樣本空間 Ω 來計算其概率P的。

貝葉斯定理

從條件概率出發很容易推導出貝葉斯定理。
$P(A|B)=\frac{P(A\cap B)}{P(B)} \quad(3)\\ P(B|A)=\frac{P(A\cap B)}{P(A)} \quad(4) \\ \frac{P(A|B)}{P(B|A)}=\frac{P(A)}{P(B)} \quad(5) \\ P(A|B) = \frac{P(B|A)P(A)}{P(B)} \quad(6)$

公式(5)可以理解爲 條件概率的比值 = 先驗概率的比值 = 橢圓A / 橢圓B。（先驗概率指P(A)和P(B)，由於不涉及其它條件，即P(A)與B無關，P(B)與A無關，所以稱爲先驗。條件概率在這裏又稱爲後驗概率，因爲P(A|B)意味着已知B事件發生之後，P(B|A)意味着已知A事件發生之後）。

公式(6)就是通常貝葉斯定理的形式。

例題

來自維基百科 - 貝葉斯定理

1. 種子檢測
   假設100%的不良種子都表現A性狀，不良種子佔所有種子的比例是十萬分之一，所有種子中有1/3表現A性狀。問一顆A性狀的種子是不良種子的概率是多少？

樣本空間：所有種子
事件A：種子表現爲A形狀
事件Bad：是不良種子

根據已知條件
P(A|Bad) = 1 // 不良種子都表現A性狀
P(Bad) = 1/10萬 // 不良種子佔所有種子的比例是十萬分之一
P(A) = 1/3 // 所有種子中有1/3表現A性狀

求P(Bad|A) // A性狀的種子是不良種子的概率
P(Bad|A) = P(Bad) / P(A) * P(A|Bad) = (1/10萬) / (1/3) * 1 = 3/10萬

所謂P(Bad|A) ，就是在A的範圍內，Bad的佔比是多少。對照上面示意圖來說，就是 藍色矩形面積 / 紅框部分面積。

2. 吸毒者檢測
   假設吸毒者每次檢測呈陽性（+）的概率爲99%。而不吸毒者每次檢測呈陰性（-）的概率爲99%。某公司僱員有0.5%的吸毒。問檢測陽性（+）時，該僱員吸毒的概率是多少？

樣本空間：公司所有僱員
事件+：檢測結果陽性
事件D：僱員爲吸毒者
事件N：僱員爲非吸毒者

根據已知條件
P(+|D) = 0.99 // 吸毒者每次檢測呈陽性（+）的概率爲99%
不吸毒者每次檢測呈陰性（-）的概率爲99%，那麼檢測呈陽性的概率是 1-99%=1%，即
P(+|N) = 0.01
P(D) = 0.005 // 公司僱員有0.5%的吸毒
P(N) = 0.995 // 另外99.5%的僱員不吸毒

求P(D|+) // 檢測陽性（+）時，該僱員吸毒的概率是多少
P(D|+) = P(D) / P(+) * P(+|D) （公式7）

其中 P(+) 還需要計算，應用全概率公式，再用貝葉斯公式：
P(+) = P(+∩D) + P(+∩N) = P(+|D) * P(D) + P(+|N) * P(N)
= 0.99 * 0.005 + 0.01 * 0.995 = 0.0149

代入公式得
P(D|+) = P(D) / P(+) * P(+|D) = 0.005 / 0.0149 * 0.99 = 0.3322 = 33.22%
即檢測呈陽性時，只有33.22%的概率爲吸毒者。

所謂P(D|+) ，就是在檢測陽性(+)的範圍內，吸毒者D的佔比是多少。對照上面示意圖來說，就是 藍色矩形面積 / 紅框部分面積。

貝葉斯定理的其它表示

上面吸毒者檢測案例中，其實已經得到了貝葉斯公式的另一種表示形式。將P(+)的公式帶入公式(7)：
P(D|+) = P(D) / P(+) * P(+|D) = P(D) * P(+|D) / ( P(+|D) * P(D) + P(+|N) * P(N) )
將D、+換成常用的符號A、B，即
$P(A|B) = \frac{P(B|A) P(A)} { P(B|A) P(A) + P(B|\bar A) P(\bar A) }$
其中 $\bar A$ 是A的補集，即"非A"。

在更一般化的情況，假設$\{A_i\}$是事件集合裏的部分集合，對於任意的$A_i$，貝葉斯定理可用下式表示：
$P(A_i|B) = \frac{P(B|A_i) P(A_i)} { \sum_j P(B|A_j) P(A_j) } \quad (8)$
上面吸毒者檢測可以直接用公式(8)計算。

參考

維基百科 - 條件概率
維基百科 - 樣本空間
維基百科 - 貝葉斯定理