先驗概率與後驗概率

此爲Bayesian先生

先驗（Apriori；又譯：先天）在拉丁文中指“來自先前的東西”，或稍稍引申指“在經驗之前”。近代西方傳統中，認爲先驗指無需經驗或先於經驗獲得的知識。它通常與後驗知識相比較，後驗意指“在經驗之後”，需要經驗。這一區分來自於中世紀邏輯所區分的兩種論證，從原因到結果的論證稱爲“先驗的”，而從結果到原因的論證稱爲“後驗的”。

先驗概率是指根據以往經驗和分析得到的概率，如全概率公式中的，它往往作爲“由因求果”問題中的“因”出現。後驗概率是指在得到“結果”的信息後重新修正的概率，是“執果尋因”問題中的“因”。後驗概率是基於新的信息，修正原來的先驗概率後所獲得的更接近實際情況的概率估計。先驗概率和後驗概率是相對的。如果以後還有新的信息引入，更新了現在所謂的後驗概率，得到了新的概率值，那麼這個新的概率值被稱爲後驗概率。

先驗概率的分類：

利用過去歷史資料計算得到的先驗概率，稱爲客觀先驗概率；

當歷史資料無從取得或資料不完全時，憑人們的主觀經驗來判斷而得到的先驗概率，稱爲主觀先驗概率。

後驗概率是指通過調查或其它方式獲取新的附加信息，利用貝葉斯公式對先驗概率進行修正，而後得到的概率。

先驗概率和後驗概率的區別：

先驗概率不是根據有關自然狀態的全部資料測定的，而只是利用現有的材料(主要是歷史資料)計算的；後驗概率使用了有關自然狀態更加全面的資料，既有先驗概率資料，也有補充資料；

　　先驗概率的計算比較簡單，沒有使用貝葉斯公式；而後驗概率的計算，要使用貝葉斯公式，而且在利用樣本資料計算邏輯概率時，還要使用理論概率分佈，需要更多的數理統計知識。

下面轉自其他博客

先驗概率與後驗概率

"概率就是無知, 而不是事務本身是隨機的".

事情有N種發生的可能,我們不能控制結果的發生,或者影響結果的機理是我們不知道或是太複雜超過我們的運算能力. 新發一個物種,到底是貓,還是小老虎呢(朱道元的經典例子)? 是由於我們的無知纔不能確定判斷.

先驗概率 ( Priorprobability)

先驗概率是在缺乏某個事實的情況下描述一個變量;而後驗概率是在考慮了一個事實之後的條件概率. 先驗概率通常是經驗豐富的專家的純主觀的估計.比如在法國大選中女候選羅雅爾的支持率 p, 在進行民意調查之前,可以先驗概率來表達這個不確定性.

後驗概率 ( posteriorprobability)

Def:Probability of outcomes of an experiment after ithas been performed and a certain event hasoccured.

後驗概率可以根據通過Bayes定理,用先驗概率和似然函數計算出來. 下面的公式就是用先驗概率密度乘上似然函數,接着進行歸一化,得到不定量X在Y=y的條件下的密度,即後驗概率密度:

其中f_X(x)爲X的先驗密度,

L_{X |
Y =y}(x) = f_{Y |X =
x}(y) 爲似然函數..

看了很多張五常的文章以後，思考一些經濟學或者統計學的問題，都試着從最簡單處入手。
一次，在聽一位英國帝國理工大學的教授來我們學校講學，講的主要是經濟計量學的建模，以及一些具體應用實例，沒想到聽報告過程中，一直在思考一道最簡單的概率問題。關於“拋硬幣”試驗的概率問題。
問題是這樣的：
1、多次拋硬幣首先是一個貝努利試驗，獨立同分布的
2、每次拋硬幣出現正、反面的概率都是1/2
3、當然硬幣是均勻同分布的，而且每次試驗都是公正的
4、在上述假設下，假如我連續拋了很多次，例如100次，出現的都是正面，當然，稍懂概率的人都知道，這是一個小概率事件，但是小概率事件是可能發生的。我要問你，下次也就是我拋第101次，出現正、反的概率是不是相等。我認爲是不相等的，出現反面的概率要大於正面。我的理由是，諸如“拋硬幣”等獨立同分布試驗都有無數人試驗過，而且次數足夠多時，正、反面出現的概率應該是逼近1/2的。也就是說，這個過程，即使是獨立同分布的試驗它也是有概率的。
5、提出這個問題之後，我請教了很多同學和老師，大部分同學一開始都是乍一聽這個問題，馬上對我的觀點提出批判，給我列條件概率的公式，舉出種種理由，不過都被我推翻了
很巧的是，沒幾天，我在圖書館過期期刊閱覽室找到一篇關於獨立同分布的newman定理
推廣到markov鏈過程的文章，見97年《應用統計研究》，我看不大懂，複印了下來，去請教
我們係數理統計方面比較權威的老師，他的答覆我基本滿意。他將數理統計可以分爲兩大類：頻率統計學派和貝葉斯統計學派。目前，國內的數理統計主要是頻率統計。又給我分析了什麼是先驗概率，先驗概率和條件概率有什麼區別，他認爲：在“拋硬幣”試驗當中，硬幣的均勻分佈和拋的公正是先驗條件或先驗概率，但是拋100次正面卻是條件概率，接着他又解釋了概率的記憶功能，他講當貝努利試驗次數不夠大的時候，它不具有記憶功能，次數足夠大的時候，也就是服從二項分佈時，具有記憶功能。這時，連續拋很多次正面就可以算作是先驗概率。
但這樣，我又不懂了。我認爲，即使只剛拋過1次，如果考慮這個過程的話，對第二次的結果也應該是有影響的，你們認爲呢？這個問題，這位老師也沒能解釋好。
研究這個問題的啓示或者意義：
1、推翻了一些東西，可能很大，也可能是我牛角尖鑽的太深了
2、一個試驗，我在一間屋子裏做“拋硬幣”的試驗，我“一不小心”連續拋出了100次正面，這裏請你不要懷疑硬幣質地的均勻和我拋法的不公正，這時，你推門進了實驗室，我和你打賭，下次拋硬幣會出現反面，給你很高的賭注。因爲我知道我已經拋了100次正面，在這個過程中正反面出現的概率是要往1：1均衡的。但是我不會告訴你，我已經連續拋了100次正面。你當然認爲正反面出現的概率是1：1，而且你的理論依據也是正確的。但是，你的正確的理論可能會使你輸錢的。
3、研究這個問題，我是想提出兩個問題：其一，正確的理論可能得不出正確的結果，其二，信息的不對稱問題。

驗前概率就是通常說的概率，驗後概率是一種條件概率，但條件概率不一定是驗後概率。貝葉斯公式是由驗前概率求驗後概率的公式。
舉一個簡單的例子：一口袋裏有3只紅球、2只白球，採用不放回方式摸取，求：
⑴ 第一次摸到紅球（記作A）的概率；
⑵ 第二次摸到紅球（記作B）的概率；
⑶ 已知第二次摸到了紅球，求第一次摸到的是紅球的概率。
解：⑴ P(A)=3/5，這就是驗前概率；
⑵ P(B)=P(A)P(B|A)+P(A逆)P(B|A逆)=3/5
⑶ P(A|B)=P(A)P(B|A)/P(B)=1/2，這就是驗後概率。