貝葉斯法則,先驗概率,後驗概率,極大後驗估計,極大似然估計

本系列文章爲原創，轉載請註明出處。
作者：Dongdong Bai
郵箱： [email protected]

若您覺得本博文對您有幫助，請您爲我點贊並關注我，以鼓勵我寫出更優秀的博文。謝謝！

---

一、基本概念

1、先驗概率和後驗概率

P(θ|X)=P(X|θ)P(θ)P(X)$$P\left(\theta |X\right)=\frac{P\left(X|\theta \right)P\left(\theta \right)}{P\left(X\right)}$$

其中，θ$\theta$ 表示模型中的未知參數，X$X$ 表示樣本。這裏有三個重要的概念：先驗分佈、似然函數，以及後驗分佈。

• P(θ)$P\left(\theta \right)$ 是先驗分佈，表示在觀察樣本之前，按照經驗認爲θ$\theta$ 符合某種概率分佈。比如說在拋硬幣之前，我們認爲正反兩面出現的概率各爲1/2。

• P(X|θ)$P\left(X|\theta \right)$ 是似然函數，表示在給定模型參數θ$\theta$ 的條件下，樣本數據X$X$ 服從這一概率模型的相似程度。

• P(θ|X)$P\left(\theta |X\right)$ 是後驗分佈，表示在觀察一系列樣本數據X$X$ 後，模型參數θ$\theta$ 服從的概率分佈。即，對先驗分佈進行了修正，更接近真實情況。

• 另外，因爲X$X$ 是樣本，所以P(X)$P\left(X\right)$ 是一個確定的值。

顯然它們之間的關係可以通過貝葉斯公式進行連接：

後驗分布=(似然函數∗先驗分布)P(X)$$後驗分布=\frac{(似然函數\ast 先驗分布)}{P(X)}$$

2、共軛（先驗）分佈

如果先驗分佈和似然函數可以使得先驗分佈和後驗分佈是相同的類型（比如都是指數分佈，或都是高斯分佈），那麼就稱先驗分佈與似然函數是共軛（先驗）分佈。

之所以採用共軛先驗分佈的原因是可以使得先驗分佈和後驗分佈具有相同形式，這樣一方面合符人的直觀（它們應該是相同形式的）另外一方面是可以形成一個先驗鏈，即現在的後驗分佈可以作爲下一次計算的先驗分佈，如果形式相同，就可以形成一個鏈條。

二、機器學習中的應用

1、貝葉斯法則

  機器學習的任務：根據給定的訓練數據集D$D$ ，在假說集H$H$ 中的選出一個最佳假說（hypothesis）作爲最終的模型。

  最佳假說：是在給定數據集D$D$ 和假說集H$H$ 中每個假說h$h$ 的先驗概率的情況下，最可能（概率P(h|D)$P(h|D)$ 最大）的一個假說。貝葉斯理論提供了一種計算假說P(h|D)$P(h|D)$ 的方法：已知各個假說h$h$ 的先驗概率P(h)$P(h)$ ，以及在假說下h$h$ 觀察到數據集D$D$ 的概率P(D|h)$P(D|h)$（似然函數），和數據集本身發生的概率P(D)$P(D)$ ，則各個假說h$h$ 的後驗概率爲：

P(h|D)=P(D|h)P(h)P(D)$$P\left(h|D\right)=\frac{P\left(D|h\right)P\left(h\right)}{P\left(D\right)}$$

2、先驗概率和後驗概率

  用P(h)$P(h)$ 表示在沒有訓練數據前假設h擁有的初始概率。P(h)$P(h)$ 被稱爲h$h$ 的先驗概率。先驗概率反映了關於h$h$ 是一個正確假說機會（概率）的背景知識，如果沒有這一先驗知識，可以簡單地將每一候選假說賦予相同的先驗概率。類似地，P(D)$P(D)$ 表示訓練數據集D$D$ 的先驗概率，P(D|h)$P(D|h)$ 表示某個假說h$h$ 成立時D$D$ 發生的概率，稱爲似然函數。機器學習中，我們關心的是P(h|D)$P(h|D)$ ，即給定D$D$ 時h$h$ 的成立的概率，稱爲h$h$ 的後驗概率。

3、貝葉斯公式

  貝葉斯公式提供了從先驗概率P(h)$P(h)$ 、似然函數P(D|h)$P(D|h)$ 和P(D)$P(D)$ 以及計算後驗概率P(h|D)$P(h|D)$ 的方法:

P(h|D)=P(D|h)P(h)P(D)$$P\left(h|D\right)=\frac{P\left(D|h\right)P\left(h\right)}{P\left(D\right)}$$

P(h|D)$P(h|D)$ 隨着P(h)$P(h)$ 和P(D|h)$P(D|h)$ 的增長而增長，隨着P(D)$P(D)$ 的增長而減少，即如果D$D$ 獨立於h$h$ 時被觀察到的可能性越大，那麼D$D$ 對h$h$ 的支持度越小。

4、極大後驗估計（Maximize a Posterior，MAP）

  學習器是在候選假說集H$H$ 中尋找給定數據集D$D$ 時可能性最大的假說h$h$ ，也即是P(h|D)$P(h|D)$ 最大的假說。獲取最大假說的方法是通過極大後驗估計（MAP）來獲取的。極大後驗估計是用貝葉斯公式計算每個候選假說h$h$ 的後驗概率，並從中挑出使P(h|D)$P(h|D)$ 最大的假說h$h$ ，計算式如下:

hMAP=argmax(P(h|D))=argmax(P(D|h)P(h)P(D))=argmax(P(D|h)P(h))(假說h是集合H中的元素)$$h_{MAP}=argmax\left(P\left(h|D\right)\right)=argmax\left(\frac{P\left(D|h\right)P\left(h\right)}{P\left(D\right)}\right)=argmax\left(P\left(D|h\right)P\left(h\right)\right)\left(假說h是集合H中的元素\right)$$

最後一步，去掉了P(D)$P(D)$ ，因爲它是不依賴於h$h$ 的常量。

5、極大似然估計（Maximize Likelihood Estimation, MLE）

  在某些情況下，可假定H$H$ 中每個假說有相同的先驗概率，這樣式子可以進一步簡化，只最大化似然函數P(D|h)$P(D|h)$ 即可，此時就變成了極大似然估計（MLE）：

hMLE=argmax(P(D|h))(假說h是集合H中的元素)$$h_{MLE}=argmax\left(P\left(D|h\right)\right)\left(假說h是集合H中的元素\right)$$

P(D|h)$P(D|h)$ 常被稱爲給定h時數據D的似然度，而使P(D|h)$P(D|h)$ 最大的假設被稱爲極大似然假設。

  極大似然估計在有些教科書上表示爲P（x1，x2，x3，...，xn;θ）$P（x_1，x_2，x_3，...，x_n;\theta ）$ ，其中θ$\theta$ 爲隨機變量X$X$ 所滿足的分佈中待估計的參數，xi$x_i$ 爲滿足隨機變量X$X$ 分佈的一個樣本，且樣本之間是獨立同分布的（iid）。

實際上P（x1，x2，x3，...，xn;θ）$P（x_1，x_2，x_3，...，x_n;\theta ）$ 就是一個條件概率P（x1，x2，x3，...，xn|θ）$P（x_1，x_2，x_3，...，x_n|\theta ）$ ，即在參數取值爲θ$\theta$ 的條件下，樣本組（x1，x2，x3，...，xn）$（x_1，x_2，x_3，...，x_n）$ 發生的概率。極大似然估計的思想就是既然這組樣本已經發生，那麼存在即爲合理，那麼使得P（x1，x2，x3，...，xn；θ）$P（x_1，x_2，x_3，...，x_n；\theta ）$ 最大值時的θ$\theta$ 的取值應爲最合理的結果。

6、舉例

  考慮一個醫療診斷問題，有兩種可能的假設：（1）病人有癌症。（2）病人無癌症。樣本數據來自某化驗測試，它也有兩種可能的結果：陽性和陰性。假設我們已經有先驗知識：在所有人口中只有0.008的人患病。此外，化驗測試對有病的患者有98%的可能返回陽性結果，對無病患者有97%的可能返回陰性結果。

  上面的數據可以用以下概率式子表示：

      P(cancer)=0.008$P(cancer)=0.008$ ，P(無cancer)=0.992$P(無cancer)=0.992$
      P(陽性|cancer)=0.98$P(陽性|cancer)=0.98$ ，P(陰性|cancer)=0.02$P(陰性|cancer)=0.02$
      P(陽性|無cancer)=0.03$P(陽性|無cancer)=0.03$ ，P(陰性|無cancer)=0.97$P(陰性|無cancer)=0.97$

  假設現在有一個新病人，化驗測試返回陽性，是否將病人斷定爲有癌症呢？我們可以來計算極大後驗假設：

      P(陽性|cancer)p(cancer)=0.98∗0.008=0.0078$P(陽性|cancer)p(cancer)=0.98\ast 0.008=0.0078$

      P(陽性|無cancer)∗P(無cancer)=0.03∗0.992=0.0298$P(陽性|無cancer)\ast P(無cancer)=0.03\ast 0.992=0.0298$
因此，應該判斷爲無癌症。

  確切的後驗概率可將上面的結果歸一化以使它們的和爲1：
      P(canner|陽性)=0.0078/(0.0078+0.0298)=0.21$P(canner|陽性)=0.0078/(0.0078+0.0298)=0.21$

      P(cancer|陰性)=0.79$P(cancer|陰性)=0.79$

  其實上：

P(cancer|yangxing)=P(陽性|無cancer)P(cancer)P(陽性)=P(陽性|無cancer)P(cancer)P(陽性|cancer)P(cancer)+P(陽性|無cancer)P(無cancer)=0.00780.98*0.008+0.03*0.992=0.00780.0376=0.21$$P\left(cancer|yangxing\right)=\frac{P(\text{陽性}|\text{無}cancer)P(cancer)}{P(\text{陽性})}=\frac{P(\text{陽性}|\text{無}cancer)P(cancer)}{P(\text{陽性}|cancer)P(cancer)+P(\text{陽性}|\text{無}cancer)P(\text{無}cancer)}=\frac{0.0078}{0\text{.98*0.008+0.03*0.992}}=\frac{0.0078}{0.0376}=0.21$$

也即是通過直接歸一化獲得P(canner|陽性)$P(canner|陽性)$ 與除以分母P(陽性)$P(陽性)$ 獲得的P(canner|陽性)$P(canner|陽性)$ 的結果相同相同，所以以後直接使用歸一化方法即可。

貝葉斯推理的結果很大程度上依賴於先驗概率，另外不是完全接受或拒絕假說某個假說$$，只是在觀察到較多的數據後增大或減小了某個假說$h$的可能性。

先驗概率是關於某個事件的先驗知識，計算後驗概率並不是說先驗概率有錯誤，只是在觀察到較多的數據後對先驗概率進行的調整。比如說通過統計100年的降水情況獲得一天下雨的先驗概率，但是由於氣候在不斷髮生變化，因此使用最近今年的降水情況對先驗概率進行調整，來獲取對某天下雨更精確的預測，即爲後驗概率。

7、貝葉斯分類具有如下特點：

• 貝葉斯分類並不把一個對象絕對地指派給某一類，而是通過計算得出屬於某一類的概率，具有最大概率的類便是該對象所屬的類；

• 一般情況下在貝葉斯分類中所有的屬性都潛在地起作用，即並不是一個或幾個屬性決定分類，而是所有的屬性都參與分類；

• 貝葉斯分類對象的屬性可以是離散的、連續的，也可以是混合的。

  貝葉斯定理給出了最小化誤差的最優解決方法，可用於分類和預測。理論上，它看起來很完美，但在實際中，它並不能直接利用，它需要知道樣本的確切分佈概率，而實際上我們並不能確切的給出樣本的分佈概率。因此我們在很多分類方法中都會作出某種假設以逼近貝葉斯定理的要求。

---

部分參考：
blog.csdn.net/chl033/archive/2009/10/26/4731005.aspx
blog.csdn.net/u014313009/article/details/39825827?utm_source=tuicool&utm_medium=referral
blog.csdn.net/xianlingmao/article/details/7340099

---

本系列文章爲原創，轉載請註明出處。
作者：Dongdong Bai
郵箱： [email protected]

若您覺得本博文對您有幫助，請您爲我點贊並關注我，以鼓勵我寫出更優秀的博文。謝謝！