PRML_頻率與貝葉斯（一）

我們從數據中能得到以下信息：

總體信息。總體所屬分佈或者所屬的分佈族帶來的信息；

樣本信息。從總體中抽樣得來的樣本給我們提供的信息；

• 以上兩種信息進行的統計推斷稱爲經典統計學。它的觀點是把樣本看成來自具有一定概率分佈的總體。

先驗信息。在抽樣之前，對總體的基本認知，一般來自經驗或歷史資料。

• 利用以上三種信息進行的統計推斷稱爲貝葉斯統計。它的觀點是：任一未知量$\theta$都可看做一個隨機變量，應用一個概率分佈去描述對$\theta$的未知狀況。這個概率分佈是在抽樣前就有的關於$\theta$的先驗信息的概率陳述。這個分佈被稱之爲先驗（Prior）分佈。

關於未知量$\theta$的一些討論：

1. 依賴於參數$\theta$的密度函數在經典統計中記爲$p(x;\theta)$或$p_{\theta}(x)$，它表示在參數空間$\Theta=\{\theta\}$中不同的$\theta$對應不同的分佈。可以在貝葉斯統計中記爲$p(x|\theta)$，他表示在隨機變量$\theta$給定某個值時，總體指標$X$的條件分佈。
2. 根據參數$\theta$的先驗信息確定先驗分佈$\pi(\theta)$。
3. 從貝葉斯的觀點看，樣本$x=(x_1 ,···X_n,···)$的產生分兩步進行。首先設想從先驗分佈$\pi(\theta)$產生一個樣本$\theta$，這一步是“老天爺”做的，人們是看不到的，故用“設想”二字。第二步是從總體分佈$p(x|\theta)$產生一個樣本$x=(x_1,···x_n,···)$，這個樣本是具體的，人們能看得到的，此樣本$x$發生的概率是與如下聯合密函數成正比。$p(x|\theta^i)=\prod_{i=1}^n{p(x_i|\theta^i)}$這個聯合密度函數是綜合了總體信息和樣本信息，常稱爲似然函數，記爲$L(\theta^i)$。頻率學派和貝葉斯學派都承認似然函數，二派認位：在有了樣本觀察值$x=(x_1,···x_n,···)$後，總體和樣本所含$\theta$的信息都被包含在似然函數$L(\theta^i)$之中，可在使用似然函數做統計推斷時，兩派還是有差異的。
4. 由於$\theta$是設想出來的，他仍然是未知的，他是按先驗分佈$\pi(\theta)$而產生的，要把先驗信息進行綜合，不能只考慮$\theta$，而應對$\theta$的一切可能加以考慮。故要用$\pi(\theta)$參與進一步綜合。這樣一來，樣本$x$和參數$\theta$的聯合分佈$h(x,\theta)=p(x|\theta)\pi(\theta)$把三種可用的信息都綜合進去了。
5. 我們的任務是要對未知數$\theta$做出統計推斷。在沒有樣本信息時，人們只能根據先驗分佈對$\theta$做出判斷。在有樣本觀察值$x=(x_1,···x_n,···)$後，我們應該依據$h(x,\theta)$對$\theta$作出推斷。爲此我們需要把$h(x,\theta)$作如下分解：$h(x,\theta)=\pi(\theta|x)m(x)$其中$m(x)$是$x$的邊緣密度函數。$m(x)=\int_\theta{h(x,|\theta)d\theta}=\int_\theta{p(x|\theta)\pi(\theta)}$他與$\theta$無關，或者說是，$m(x)$中不含$\theta$的任何信息。因此能用來對$\theta$做出推斷的僅是條件分佈$\pi(\theta|x)$。他的計算公式爲$\pi(\theta|x)=\frac{h(x|\theta)}{m(x)}=\frac{p(x|\theta)\pi(\theta)}{\int_\theta{p(x|\theta)\pi(\theta)}d\theta}$，這就是貝葉斯公式的密度函數形式。這個在樣本$x$給定下，$\theta$的條件分佈被稱爲$\theta$的後驗分佈。他是集中了總體、樣本和先驗三種信息中包含有$\theta$的一切信息，而又是排除一切與$\theta$無關的信息之後所得到的結果。故基於後驗分佈$\pi(\theta|x)$對$\theta$進行統計推斷是更爲有效，也是合理的。
6. 在$\theta$是離散隨機變量時，先驗分佈可用先驗分佈列$\\pi(\theta_i),i=1,2···$，表示。這時後驗分佈也是離散形式。$\pi(\theta_i|x)=\frac{p(x|\theta_i)\pi(\theta_i)}{\sum_i{p(x|\theta_i)\pi(\theta_i)}},i=1,2,···$假如總體$X$也是離散的，那麼只要把密度安徽省農戶$p(x|\theta)$看作是概率函數$P(X=x|\theta)$即可。

一般來說，先驗分佈$\pi(\theta)$是反映人們在抽樣分佈前對$\theta$的認識，後驗分佈$\pi(\theta|x)$是反映人們在抽樣後$\theta$的認識。之間的差異是由於樣本$x$出現後人們對$\theta$認識的一種調整。所以後驗分佈$\pi(\theta|x)$可以看作是人們用總體信息和樣本信息對先驗分佈$\pi(\theta)$做調整的結果。