轉自:http://blog.sciencenet.cn/blog-677221-1049350.html
貝葉斯與逆概率問題
對於“白球黑球”的概率問題。概率問題可以正向計算，也能反推回去。
（1）盒子裏有10個球，黑白兩種顏色，如果我們知道10個球中5白5黑，那麼，從中隨機取出一個球，這個球是黑球的概率是多大？
（2）假設我們預先並不知道盒子裏黑球白球數目的比例，只知道總共是10個球，那麼，隨機地拿出3個球，發現是2黑1白。逆概率問題則是要從這個試驗樣本（2黑1白），猜測盒子裏白球黑球的比例？
貝葉斯感興趣的是反過來的問題（可稱之爲逆概率問題）：逆概率問題，就是從樣本數據來猜測概率模型的參數
爲了解決逆概率問題，貝葉斯在他的論文中提供了一種方法，即貝葉斯公式：
後驗概率 = 觀測數據決定的調整因子×先驗概率 （1）
根據貝葉斯公式，利用先驗知識與觀察數據一起，可決定假設的最終概率，以允許對某種不確定性逐步調整後驗概率並做出最終的概率預測。
分佈之分佈
雖然大家都可以使用貝葉斯公式，但使用的方法卻可以五花八門，一是確定先驗概率的方法便有多種多樣，二是要對未知的不確定性作出預測，那麼，如何理解這種“不確定性”？這種不確定性是固有的客觀存在嗎？
比如說拋硬幣實驗，每次實驗可以用隨機變量X表示，X服從二項分佈或伯努利分佈。如何“猜測”拋硬幣時正面出現的概率p？（1）頻率學派認爲模型參數p是固定的客觀存在的
頻率學派對於p的估計：
頻率學派認爲p有一個固定數值，也就自然而然地認爲決定這個數值的比較好的方法就是多次試驗，不停地拋硬幣，記錄其中正面出現的頻率，實驗次數足夠大的時候，就能越來越逼近p的真實數值，比如說，拋了1000次，正面601次，得到頻率p（1000）=0.601，大概可以預測p=0.6。
（2）貝葉斯學派則把模型的參數p也當作一個不確定的隨機變量P，認爲它符合某種分佈。所以，對貝葉斯學派而言，硬幣實驗中有兩類隨機變量：硬幣“正反”的一類隨機變量X，和表徵硬幣偏向性的另一類隨機變量P。因爲P是建立在隨機序列X的模型參數之上的隨機序列，因此，其分佈被稱爲“分佈之分佈”。
貝葉斯學派對於p的估計：
貝葉斯學派並不假定p有一個“客觀”數值，而是認爲p也對應一個隨機變量Y，可以取0到1之間的任何值，但可能服從某種分佈（均勻、正態、或其它），實驗次數的增多可以對此分佈的情況瞭解更多。這樣一來，使用貝葉斯公式，便可以逐次修正Y對應的分佈：
後驗概率分佈 = 觀測數據決定的調整因子×先驗概率分佈
將上式表達得稍微“數學”一點：
P(Y|數據) = {P(數據| Y) / P(數據)} * P(Y) = 似然函數* P(Y) （2）
P(數據)可以暫不考慮，以後會放到概率的歸一化因子中。
Beta分佈
公式（2）中的P(Y)是先驗分佈，P(Y|數據) 是考慮得到了更多數據條件下的後驗分佈，P(數據| Y)是（正比於）似然函數。
以簡單的“拋硬幣”實驗爲例，首先研究一下似然函數。對硬幣“正反”隨機性X對應的二項離散變量，事件要麼發生（p），要麼不發生（1-p）。如果發生m次，不發生n次，似然函數的形式爲：
Pm（1-p）n
如果我們能找到一種分佈形式來表示先驗分佈，乘以似然函數後，得到的後驗分佈仍然能夠保持同樣的形式的話，便不僅具有代數公式的協調之美，也會給實際上的計算帶來許多方便之處。
很幸運，beta分佈就具有我們要求的性質。具有上述性質的分佈叫做“共軛先驗”，beta分佈是二項分佈的共軛先驗：
f(x; a, b) =xa-1(1-x)b-1/B(a,b) （3）
beta分佈用f(x;a,b)表示，其中的B(a,b)是通常的由gamma函數定義的beta函數，在這兒意義不大，只是作爲一個歸一化的常數而引進，以保證概率求和（或積分）得到1。
簡單舉例
事實上，僅僅從硬幣物理性質的角度來看，頻率學派的觀點似乎言之有理。硬幣正反面的偏向性顯然是一種固定的客觀存在。但是，除此之外，還有很多其它不確定性的情況，就不見得符合這種“參數固定”的模型了，比如量子現象是其中1例。下面再舉一個簡單例子：
用簡單的“雨”或“無雨”來表示某城市氣候中的“雨晴”狀態。該城市已經有了10天的“雨晴”記錄，其中3天有雨，7天無雨，因而可以由此記錄得到一個beta先驗分佈：f(雨; 3, 7)。
然後，再過了8天之後，觀測到了新的數據：其中7天有雨1天無雨，後驗概率仍然是一個beta分佈，不過參數有所改變：f(雨; 10, 8)，見下圖。
