貝葉斯公式 先驗概率 後驗概率（詳細）

貝葉斯公式

貝葉斯公式是機器學習中的基礎公式，也是概率統計裏的常用公式，貝葉斯公式常用於監督學習算法中的生成（式）模型（Generative Model），想要對機器學習算法建立體系化的知識結構，對生成模型的理解至關重要，本篇只簡述貝葉斯公式。並對先驗概率和後驗概率的知識點進行整理，以便隨時查閱。首先給出兩個例子
第一個例子。一所學校裏面有 60% 的男生，40% 的女生。男生總是穿長褲，女生則一半穿長褲一半穿裙子。假設你走在校園中，迎面走來一個穿長褲的學生（很不幸的是你高度近似，你只看得見他（她）穿的是否長褲，而無法確定他（她）的性別），你能夠推斷出他（她）是男生的概率是多大嗎？
第二個例子。兩個一模一樣的碗，一號碗有30顆水果糖和10顆巧克力糖，二號碗有水果糖和巧克力糖各20顆。現在隨機選擇一個碗，從中摸出一顆糖，發現是水果糖。請問這顆水果糖來自一號碗的概率有多大？

公式

P（A|B）=P（B|A）∗P(A)/P(B)

P（A|B）

想要理解貝葉斯公式首先要對 A，B所代表的意義有所瞭解。如果我們作爲一個出題人，要如何考查這個公式呢？給出一系列條件，求P（A|B）顯然是一種方法。簡單舉幾個例子（只涉及最後的問題）。

看到一個穿長褲的人，此人是男生的概率爲多少？
摸到一顆水果糖，來自1號碗的概率是多少？

問題可以被總結爲，

給出一個場景，在此場景下的結論概率。對於第一個問題來說，穿長褲是我所看到的情景，我所要求的，也就是不確定是此人是男是女？ 故易知，A爲是男是女的結論，穿長褲是B。A，B已知後，此公式不難補齊。
對於第二個問題，顯然水果糖爲觀察到的B，問來自1號碗是A。
然後順勢給出先驗概率和後驗概率的定義。

P（B）

通常應用全概率公式，定義如下：
如果事件B1、B2、B3…Bn 構成一個完備事件組，即它們兩兩互不相容，其和爲全集；並且P(Bi) 大於0，則對任一事件A有
P(A)=P(A|B1)P(B1)+P(A|B2)P(B2)+...+P(A|Bn)P(Bn).
對於例一來說，P（B）爲穿長褲的概率，分爲男生情況，穿長褲，和女生情況穿長褲2種。P（穿長褲）=P（男生）P（穿長褲|男生）+P（女生）P（穿長褲|女生）=0.6*1+0.4*0.5=0.8.
例二同理。

P(B|A)

以例一爲例，爲P（穿長褲|男生）題中已知，爲100%。既1.

補充

當我們查找貝葉斯公式相關知識時，經常會出現“執果尋因”，“執因尋果”之類的話語，顯然，果對應上文說的結論，而“原因”對應上文提到的“情景”。。在下面的先驗概率及後驗概率中，“因果”，“情景及結論”的概念還會出現。

先驗概率 （prior probability）

先驗概率是指根據以往經驗和分析得到的概率，如全概率公式，它往往作爲”由因求果”問題中的”因”出現的概率。

後驗概率 （posterior probability）

表示在事情已經發生的條件下，要求該事發生原因是有某個因素引起的可能性的大小。後驗概率是指在得到“結果”的信息後重新修正的概率，如貝葉斯公式中的。是“執果尋因”問題中的”果”。

總結

1.先驗概率與後驗概率有不可分割的聯繫，後驗概率的計算要以先驗概率爲基礎。。
2.簡單來說，用貝葉斯公式求出來的結果，也就是等號左邊的是後驗概率，，*，既“執果尋因”，也就是題中所要求的東西。例一中的，P（穿長褲|男生），例二中，P（1號碗|水果糖）。先驗概率，就是例一中的P（穿長褲），只用到了全概率公式，並沒有用到貝葉斯公式，比較簡單，根據“以往經驗”，就是題中條件簡單易求，體現了先驗的特點。
3.先，後是以“是否知道條件”爲劃分點。
舉一個簡單的例子：一口袋裏有3只紅球、2只白球，採用不放回方式摸取，求：
⑴ 第一次摸到紅球（記作A）的概率；
⑵ 第二次摸到紅球（記作B）的概率；
⑶ 已知第二次摸到了紅球，求第一次摸到的是紅球的概率。
解：
⑴ P(A)=3/5，這就是驗前概率；
⑵ P(B)=P(A)P(B|A)+P(A逆)P(B|A逆)=3/5
⑶ P(A|B)=P(A)P(B|A)/P(B)=1/2，這就是後驗概率。

·