前言
最近發現一本關於貝葉斯的書籍,很是適合作爲貝葉斯的入門書籍來看,在這裏推薦給大家 <<統計學管我什麼事:生活中的極簡統計學>>
這本書以淺顯的小例子來解釋貝葉斯推理,只需要會做四則運算,便可以掌握貝葉斯統計學.以下作爲讀書記錄
貝葉斯統計的優勢在於,“在數據少的情況下也可以進行推測,數據越多,推測結果越準確”,以及"對所獲的信息可以作數瞬時反應,自動升級推測"的學習功能.
信息增加導致概率變化
下面通過一個例子來說明"貝葉斯推理"的基本方法
通過貝葉斯推理來辨別"買東西的人"和"隨便逛逛的人"
商店售貨員最關心的問題莫過於"這位顧客究竟是來買東西的,還是隨便逛逛而已".
第一步:通過經驗設定"先驗概率"
推算第一步:將兩種顧客(來買東西的顧客, 隨便逛逛的顧客)的比例進行數值分配.
這句話的意思是:假設前面的這位顧客一定屬於兩種中的一種,以此爲前提,該顧客爲第一種或第二種的可能性分別爲多少?將這個可能性用數值表示出來.
在貝葉斯統計學中,這種 "某種類別的概率(比例)" 有一個專門的名詞,叫先驗概率. "事前"的含義是:在獲得某項信息之前.此處的"信息"是指:附加狀況,比如顧客忽然間過來詢問.通過過來詢問這一信息,可以對顧客類別的推算進行修改,而先驗概率是指,在"過來詢問"或"不過來詢問"的事情發生之前進行的概率判斷.
通常先驗概率可已通過經驗來判斷.
根據自己的經驗,每5位顧客中就有1位是"來買東西的",也就是說說這一部分顧客佔全體的20%(0.2), 那麼剩下"隨便逛逛"部分的比例變爲 80%(0.8).這兩個數字,便是兩類顧客的"先驗概率";
"面積"的概念在貝葉斯概念的計算中,起着重要的作用
該圖可以理解爲:將整體分爲兩種不同的情況,且將各部分概率相加,總和爲1,這種情況被稱爲 “標準化條件”
第二步:設置發生"向店員詢問"事件的條件概率
在這一步,我們需要做的是:爲"來買東西的人"和"隨便逛逛的人"這兩類顧客分別設定"向店員詢問"的概率.
此處的"各分類的行動概率",必須是基於一定經驗, 實例, 實驗的數值.
圖1-2 的數字,表示**“某一特定類別採取各種行動的概率”,在高等數學中被稱爲"條件概率".
即"即在原因明確的情況下,某一類別採取各項行動的結果概率"**
將兩類顧客,進一步按照"詢問"和"不詢問"的條件來分類,那麼前面的兩大類又可以細分爲四小類,分別是:“來買東西的人詢問店員”, “隨便逛逛的人詢問店員”, “來買東西的人不詢問店員”, “隨便逛逛的人不詢問店員”.如下表所示:
各個區域所表示的概率與每個長方形的面積相等
下面我們來確認一下,這四個"可能世界"的概率之和:
0.2 x 0.9 = 0.18 0.2 x 0.1 = 0.02
0.8 x 0.3 = 0.24 0.8 x 0.7 = 0.56
(0.18 + 0.02) + (0.24 + 0.56 ) = 1
第三步:通過觀察到的行爲,排除"不可能的情況"
下面,讓我們進一步推測
作爲一名店員,你現在面臨的情況是:顧客上前來打招呼.這也意味着,你觀察到了顧客的某種行爲. 這爲"可能世界" 又增添了一條信息
這條信息的內容是:"不詢問店員"的肯能性消失了.
爲此還是需要保持之前的比例關係通過恢復標準化條件(使所有情況概率相加之和爲1)
第四步:尋求"來買東西的人"的"貝葉斯逆概率"
恢復標準化條件,從而使概率發生改變:
(左長方形的面積):(右長方形的面積) = 0.18 : 0.24 = 3 : 4
改變爲
(左長方形的面積):(右長方形的面積) = 3 : 4 = 3/7 : 4/7
從上表我們可以看出,上前詢問的顧客爲購買者的概率,可以推定爲 3/7 ,這個概率,被稱爲 “貝葉斯逆概率"或"後驗概率”.
"上前詢問"的顧客可分爲 "來買東西的人"和"隨便逛逛的人"兩種類別,從中隨機選擇一種.從"詢問" 這一行動的結果追溯到 “類別” 這一原因.[結果 ->原因]這一過程,就是"逆概率"這一概念中"逆"的含義.
貝葉斯推理過程的總結
通過求後驗概率,我們能夠理解到什麼呢?其實,只要抽出圖表的開頭, 中間和結尾部分,並填入數值,結果就很明確了.
這個圖表可以理解爲,在沒有觀察到任何行爲時,面前的顧客是"來買東西的人"的概率爲 0.2(先驗概率),但是觀察到 “上前詢問"這一行爲之後,數值便更新爲約 0.43(後驗概率).
也就是說,雖然並不能斷定這位顧客是"來買東西的人”,但這一結果的可能性提高到了以前的兩倍,這便是**“貝葉斯更新”**.
貝葉斯推理可以總結爲:通過觀察行動(信息),將先驗概率通過貝葉斯更新,轉換爲後驗概率
小結
