2015.9.19晚讀貝葉斯統計（權作讀書筆記）
一. 基本概念
1.先驗信息--在抽樣之前有關統計問題的一些信息，一般說來，先驗信息主要來源於經驗和歷史資料。
2.基於總體信息、樣本信息和先驗信息進行的統計推斷稱爲貝葉斯統計學。他與經典統計學的主要差別在於是否利用先驗信息。貝葉斯學派重視已出現的樣本的觀察值，而對尚未發生的樣本觀察值不予考慮。
3.貝葉斯學派的最基本的觀點是：任一個未知量a都可看作一個隨機變量，應用一個概率分佈描述對a的未知狀況。這個概率分佈是在抽樣前就有的關於a的先驗信息的概率描述。這個概率分佈被稱爲先驗分佈。有時稱爲Prior。即使是一個幾乎不變的未知量，用一個概率分佈去描述它的不確定性也是十分合理的。
4.後驗分佈是三種信息的綜合--一般說來，先驗分佈π(a)是反映人們在抽樣前對a的認識，後驗分佈π(a|x)是反映人們在抽樣後對a的認識。之間的差異是由於樣本x出現後人們對於a認識的一種調整。所以後驗分佈π(a|x)可以看作是人們利用總體信息和樣本信息對先驗分佈π(a)做調整的結果。
5.設a是總體分佈中的參數（或者參數向量），π(a)是a的先驗密度函數，假設抽樣信息算得的後驗密度函數與π(a)有相同的函數形式，則稱π(a)是a的（自然）共軛先驗分佈。
注意：共軛先驗分佈是對某一分佈中的參數而言的。
6.在貝葉斯統計中先驗分佈的選取應該以合理性作爲首要原則。計算上的方便與先驗的合理性相比那還是第二位。
7.共軛先驗分佈的選取是由似然函數L(a)=p(x|a)中所含a的因式所決定的，即選與似然函數具有相同核的分佈作爲先驗分佈。若此想法得以實現，那共軛先驗分佈就產生了。
8.先驗分佈中所含的未知參數稱爲超參數。一般說來，共軛先驗分佈常含有超參數，而無信息先驗分佈一般不含有超參數。共軛先驗分佈是一種有信息的先驗分佈，故其中所含的超參數應充分利用各種先驗信息來確定。
確定超參數：
(1)利用先驗矩
(2)利用先驗分位數
(3)利用先驗矩和先驗分位數
(4)其他方法
9.多參數模型與單參數模型類似，可利用邊緣密度消除不感興趣的參數。
10.經典統計中充分統計量的定義：設X是來自分佈函數F(X|A)的一個樣本，T=T(X)是統計量，假如在給定T(X)=t的條件下，X的條件分佈與A無關的話，則稱該統計量爲A的充分統計量。