貝葉斯學習及共軛先驗

貝葉斯學習
首先，我從最簡單的硬幣投擲開始。現在給你一個硬幣，假設有θ 的概率爲正面朝上，那麼有1−θ 的概率是背面朝上，那麼如果在5次投擲過程中，有3次是正面朝上，那麼這個θ 最可能是多少呢？
憑着頻數的直觀感覺，我們可能會認爲是3/5，當然這是根據統計規律得到的結論。那麼實際上這是一個二項分佈，即重複n次的伯努利實驗。由上述所述，很容易知道其概率表示如下

P(X=3)=C35θ3(1−θ)2

我們需要這個概率儘量大，那麼最終解得的值爲3/5。函數圖像如下

但是，我們想象一下，如果在5次投擲過程中，5次都正面朝上，那豈不是得到的估計值是1？ 很明顯這種情況得到的估計值不合理。爲了避免這種“黑天鵝事件”(非常難以預測，且不尋常的事件)的發生，需要將值降低一些才能看似更符合常理，那麼我們只需要乘上另一個小於1的概率值就可以達到了。到了這裏貝葉斯公式橫空出世！如下

P(θ|X)=P(X|θ)P(θ)P(X)

其中P(θ) 叫做先驗概率，P(X|θ) 叫做似然概率，先驗概率是對似然概率的一種補充，如上述的擲硬幣。而後驗概率P(θ|X) 正比於似然概率和先驗概率的乘積。
設X1,X2,…,Xn 是來自總體X 的樣本，x1,x2,…,xn 爲其觀測值，則X1,X2,…,Xn 的聯合概率密度函數爲f(x,θ)=f(x1,x2,…,xn,θ) ,其中θ∈Θ 是總體X 的未知參數.
經典統計認爲未知參數θ 是常數，而貝葉斯統計認爲未知參數θ 是隨機變量，這樣樣本X1,X2,…,Xn 的聯合密度函數就是在給定θ 下的條件密度函數，稱爲思然函數，即

L(x|θ)=f(x1,x2,…,xn,θ)

由於參數θ 是隨機變量，因此具有分佈，設π(θ) 是它的密度函數，一般π(θ) 是有參數的先驗信息來確定，成π(θ) 是參數θ 的先驗密度函數，則參數θ 和樣本X1,X2,…,Xn 的聯合密度函數即

h(x,θ)=L(x|θ)π(θ)