轉-條件概率/全概率/貝葉斯公式

參考：https://www.cnblogs.com/ohshit/p/5629581.html

1、條件概率公式

    設A,B是兩個事件，且P(B)>0,則在事件B發生的條件下，事件A發生的條件概率（conditional probability)爲：
      **P(A|B)=P(AB)/P(B)**

分析：一般說到條件概率這一概念的時候，事件A和事件B都是同一實驗下的不同的結果集合，事件A和事件B一般是有交集的，若沒有交集（互斥），則條件概率爲0，例如：

① 扔骰子，扔出的點數介於[1,3]稱爲事件A，扔出的點數介於[2,5]稱爲事件B，問：B已經發生的條件下，A發生的概率是多少？

也即，做一次實驗時，即有可能僅發生A，也有可能僅發生B，也有可能AB同時發生，

② 同時扔3個骰子，“三個數都不一樣”稱爲事件A，“其中有一個點數爲1”稱爲事件B。這一題目中，AB也是有交集的。

用圖更能容易的說明上述問題，我們進行某一實驗，某一實驗所有的可能的樣本的結合爲Ω（也即窮舉實驗的所有樣本），圓圈A代表事件A所能囊括的所有樣本，圓圈B代表事件B所能囊括的所有樣本。

由圖再來理解一下這個問題：“B已經發生的條件下，A發生的概率”，這句話中，“B已經發生”就相當於已經把樣本的可選範圍限制在了圓圈B中，其實就等價於這句話：“在圓圈B中，A發生的概率”，顯然P(A|B)就等於AB交集中樣本的數目/B的樣本數目。爲什麼這裏用的是樣本的數目相除，而上面的公式卻是用的概率相除，原因很簡單，用樣本數目相除時，把分子分母同除以總樣本數，這就變成了概率相除。

2、乘法公式

     1.由條件概率公式得：

                   P(AB)=P(A|B)P(B)=P(B|A)P(A)    

         上式即爲乘法公式；

     2.乘法公式的推廣：對於任何正整數n≥2，當P(A1A2...An-1) > 0 時，有：

             P(A1A2...An-1An)=P(A1)P(A2|A1)P(A3|A1A2)...P(An|A1A2...An-1)

3、全概率公式

    1. 如果事件組B1，B2，.... 滿足

           1.B1，B2....兩兩互斥，即 Bi ∩ Bj = ∅ ，i≠j ， i,j=1，2，....，且P(Bi)>0,i=1,2,....;

           2.B1∪B2∪....=Ω ，則稱事件組 B1,B2,...是樣本空間Ω的一個劃分

      設 B1,B2,...是樣本空間Ω的一個劃分，A爲任一事件，則：

已知：各個A∩Bi的樣本數、Bi的樣本數，
求A的樣本數 / 總樣本數Ω？

上圖中，某一實驗所有的可能的樣本的集合爲Ω，圓圈A代表事件A所能囊括的所有樣本，把總集合Ω分爲n個小集合，依次爲B1、B2···Bn，這些小集合兩兩互斥，那麼顯然，A的樣本數目可以通過與Bi的交集來獲得，也即=（A∩B1的樣本數）+（A∩B2的樣本數）+····+（A∩Bn的樣本數）。前文已經說過，樣本數公式和概率公式，本質上是一樣的東西。

4、貝葉斯公式

  1.與全概率公式解決的問題相反，貝葉斯公式是建立在條件概率的基礎上尋找事件發生的原因（即大事件A已經發生的條件下，分割中的小事件Bi的概率），設B1,B2,...是樣本空間Ω的一個劃分，則對任一事件A（P(A)>0),有

上式即爲貝葉斯公式（Bayes formula)，Bi 常被視爲導致試驗結果A發生的”原因“，P(Bi)(i=1,2,…)表示各種原因發生的可能性大小，故稱先驗概率；P(Bi|A)(i=1,2…)則反映當試驗產生了結果A之後，再對各種原因概率的新認識，故稱後驗概率。

已知：各個A∩Bi的樣本數、Bi的樣本數，
求A∩B3的樣本數 / A的樣本數？

例子：發報臺分別以概率0.6和0.4發出信號“∪”和“—”。由於通信系統受到干擾，當發出信號“∪”時，收報臺分別以概率0.8和0.2受到信號“∪”和“—”；又當發出信號“—”時，收報臺分別以概率0.9和0.1收到信號“—”和“∪”。求當收報臺收到信號“∪”時，發報臺確係發出“∪”的概率。

解析：貝葉斯這一概念，所探討的問題，也是事件A和事件B都是某一實驗的不同的結果集合，然後把事件B這個結果集合分爲n小份，每一小份也是結果集合，只不過這些小集合一定位於B集合內部，每一小份結果集合稱爲Bi(i∈[1,n])，Bi之間兩兩互斥，所有Bi並起來就是B。
本例中，實驗爲“發一次報，收一次報，然後記錄發、收的字符”，事件A爲“收到了U”，事件B爲"發出了信號"，事件B1爲“發出了U”，事件B2爲“發出了—”，顯然這裏B1∪B2=B，B1∩B2=∅。要想求P(B1 | A)，根據條件概率公式，P(B1 | A)=P(B1 A)/P(A)，只要分別計算出分子分母就行了，顯然分子可以用上面的乘法公式來求，分母爲已知（若分母未知，就得用全概率公式來求）。

貝葉斯公式，根本不用記憶，其實就是條件概率、乘法公式、全概率公式的組合。

總結

（1）以上四個公式的研究對象，都是“同一實驗下的不同的結果集合”

（2）爲了容易理解這四個概率公式，可以把用“樣本數目公式”來代替“概率公式”，來求概率。