共軛分佈

共軛分佈

預備知識

統計學中的兩個學派：頻率學派和貝葉斯學派。
爲了區分這個兩個學派，我們從統計推斷中的三個信息說起，說到三個信息也要說一下三大基本任務：抽樣分佈、參數估計和假設檢驗。
總體信息：即總體分佈或總體所屬的分佈族給我們的信息。
樣本信息：即樣本給我們的信息，最“新鮮的”信息，越多越好
先驗信息：抽樣之前有關統計的一些信息，一般先驗信息來源於，經驗或歷史資料。

學派分類

基於總體信息和樣本信息進行統計推斷的統計學成爲經典統計學。
基於總體信息、樣本信息和先驗信息進行統計推斷的統計學被成爲貝葉斯統計學。
貝葉斯統計學與經典統計學的差別就是在於是否利用先驗信息
在樣本量很大的時候頻率無限接近於概率，頻率是變動的，而概率是不變的。大數定律給出結論：一定條件下，頻率可以看做頻率。
頻率學派：概率的頻率化解釋，認爲概率是一個固定的值
貝葉斯學派：關心先驗信息，即先驗概率，認爲概率是一個分佈
貝葉斯學派最基本的觀點就是：任一未知量都可以看做隨機變量，可以用一個概率分佈去描述，這個分佈稱爲先驗分佈。
貝葉斯準則：一切關於未知量的統計推斷都是基於後驗分佈

貝葉斯公式的密度形式

依賴於參數θ 的密度函數在經典統計中記爲p(x;θ) ，此時認爲θ 是個定值，在貝葉斯統計中應記爲p(x|θ) ，它表示在隨機變量θ 在給定某個值時，X 的條件密度函數。
根據參數 θ 的先驗信息確定先驗分佈π(θ)
從貝葉斯觀點來看，樣本X=(X1,X2...Xn) 的產生要分兩步走。首先從