貝葉斯決策理論之入門篇

貝葉斯定理

首先是條件概率公式如下：

P(A|B)=P(B|A)P(A)P(B)$$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$$

爲了方便理解，可以參考下圖

已知兩個獨立事件A$A$ 和B$B$ ，那麼事件B$B$ 發生的前提下，事件A$A$ 發生的概率可以表示爲P(A|B)$P(A|B)$ ，即上圖中橙色部分佔紅色部分的比例，那麼P(A|B)$P(A|B)$ 就可以表示爲P(AB)P(B)$\frac{P(AB)}{P(B)}$ ，同理可以得到P(B|A)=P(AB)P(A)$P(B|A)=\frac{P(AB)}{P(A)}$ ，再整理下就可以得到貝葉斯公式了。

再介紹下全概率公式

P(B)=∑i=1nP(Ai)P(B|Ai)$$P(B)=\sum _{i=1}^{n}P(A_i)P(B|A_i)$$

簡單的推理其實就是在完備事件A$A$ 中，事件B$B$ 發生的概率P(B)=P(AB)$P(B)=P(AB)$ ，若將完備事件劃分爲n個互斥事件{A1,A2,...,An}$\{A_1,A_2,...,A_n\}$ ，則P(B)=∑ni=1P(AiB)$P(B)=\sum _{i=1}^{n}P(A_{i}B)$ ，通過貝葉斯公式就可以得到上述全概率公式。具體可以參考下圖輔助理解

以上圖中A5$A_5$ 爲例，根據條件概率公式可以知道P(A5|B)=P(B|A5)P(A5)P(B)$P(A_5|B)=\frac{P(B|A_5)P(A_5)}{P(B)}$ ，再利用可以利用全概率公式則可以得到P(A5|B)=P(B|A5)P(A5)∑5i=1P(Ai)P(B|Ai)$P(A_5|B)=\frac{P(B|A_5)P(A_5)}{\sum _{i=1}^{5}P(A_i)P(B|A_i)}$

那麼經典帥氣的貝葉斯公式如下：

P(Ai|B)=P(B|Ai)P(Ai)P(B)=P(B|Ai)P(Ai)∑nj=1P(Aj)P(B|Aj)$$P(A_i|B)=\frac{P(B|A_i)P(A_i)}{P(B)}=\frac{P(B|A_i)P(A_i)}{\sum _{j=1}^{n}P(A_j)P(B|A_j)}$$

貝葉斯決策

貝葉斯決策就是利用貝葉斯理論進行決策分類，是統計機器學習的基本方法之一，以前導師曾說過，如果你的理論推導能夠結合貝葉斯決策理論，那會給論文加分不少。現在流行的深度學習本身是基於神經網絡的，但由於需要大數據的支持，因此也可以通過統計機器學習方法來進行分析和論證，具體的結合方法可以參考SegNet裏面的貝葉斯方法，接下來要講的就是具體的貝葉斯決策方法。
很多時候吶，在模式識別的問題裏，我們只能夠觀察到一系列的特徵x=[x1,x2,...,xn]T$x=[x_1,x_2,...,x_n{]}^T$ ，那麼如何對這一系列的觀察值進行分類吶？在統計機器學習裏面，就是求解概率P(ωi|x)$P({\omega }_i|x)$ ，可以理解爲在觀察到特徵x$x$ 的前提下，觀察到的現象屬於ωi${\omega }_i$ 類的概率是多大。
還是以書上最常用的觀察細胞特徵並判斷細胞是否正常的栗子來說明（唔~你可以認爲我是懶得想別的栗子），首先是已知條件，觀察到的細胞特徵是n維向量x=[x1,x2,...,xn]T$x=[x_1,x_2,...,x_n{]}^T$ ，細胞分爲正常細胞ω1${\omega }_1$ 類和異常細胞ω2${\omega }_2$ 類；當然P(ω1)+P(ω2)=1$P({\omega }_1)+P({\omega }_2)=1$ ，如果僅從先驗概率P(ω1)$P({\omega }_1)$ 和P(ω2)$P({\omega }_2)$ 對細胞進行分類，合理的方法是：當P(ω1)>P(ω2)$P({\omega }_1)>P({\omega }_2)$ 時，認爲是正常細胞，反之則是異常細胞；但實際不可能這麼做，因爲一般情況下先驗概率都是個常量，而且我們對細胞的分類是會隨着觀察值的改變而改變的，那麼如果我們現在觀察到了細胞特徵x$x$ ，在特徵x$x$ 的基礎上要判斷細胞是屬於哪一類，就是要判斷P(ω1|x)$P({\omega }_1|x)$ 和P(ω2|x)$P({\omega }_2|x)$ 的大小。

結合貝葉斯公式，可以知道P(ω1|x)=P(x|ω1)P(ω1)∑2i=1P(x|ωi)P(ωi)$P({\omega }_1|x)=\frac{P(x|{\omega }_1)P({\omega }_1)}{\sum _{i=1}^{2}P(x|{\omega }_i)P({\omega }_i)}$ ，那麼就把求解P(ωi|x)$P({\omega }_i|x)$ 轉變爲了求解先驗概率P(ωi)$P({\omega }_i)$ 和條件概率P(x|ωi)$P(x|{\omega }_i)$ ，唔，怎麼說呢，其實這兩個概率應該是都可以通過採樣獲取的，結合上圖，可以理解爲P(ωi)$P({\omega }_i)$ 就是對完備事件的劃分ω1${\omega }_1$ 和ω2${\omega }_2$ 的面積比例，P(x|ωi)$P(x|{\omega }_i)$ 就是在ωi${\omega }_i$ 劃的區域內x所佔的面積比例（P(x|ω1)$P(x|{\omega }_1)$ 就是橙色所佔黃色的比例）
以上，在貝葉斯決策裏，我們通常要求解的P(ωi|x)$P({\omega }_i|x)$ 被稱作後驗概率，P(ωi)$P({\omega }_i)$ 被稱作先驗概率，P(x|ωi)$P(x|{\omega }_i)$ 被稱作觀察x的類條件概率，當然《模式識別（第二版）》那本書上用的是條件概率密度，嗯，其實也就是觀察值的連續函數，在很多的問題當中，是要對這個概率密度函數的參數進行估計才能繼續求解的，因此貝葉斯決策理論很多時候都是建立在強假設條件下；當然，貝葉斯決策也有損失函數，那麼基於損失函數就會有很多不同的決策方法，例如基於最小錯誤率、最小風險等。暫時先到這裏吧。

---

唔~感覺我還是沒怎麼講明白，有錯誤的話請幫我指出，我好修改，謝謝！