2.1 閒聊貝葉斯公式

貝葉斯公式我過去一直都挺眼熟，$P(A|B)*P(B) = P(B|A)*P(A)$，這麼簡單的公式到底要怎樣利用，我可是一直沒弄明白過，以至於每當別人問我貝葉斯公式是什麼時，我都不敢說知道。接下來我們就要好好弄清楚貝葉斯公式的應用。
現在我們有這樣一個問題：已知一批樣本，分別屬於A和B兩個類別，並且兩種類別的概率已知，先從中隨機拿出一個樣本，並且觀察到該樣本有特徵$x$，問該樣本的類別爲A和B的概率分別是多少？
上述問題可以採用貝葉斯公式解決。
概率論中的貝葉斯公式如下：
$P(w_i|x) = \frac{p(x|w_i)P(w_i)}{p(x)}=\frac{p(x|w_i)P(w_i)}{\sum_{j=1}^n p(x|w_j)P(w_j)}$
其中$w_i$代表樣本的類別$i$，$x$代表樣本特徵。其中$P(w_i)$稱爲先驗概率（priori probability: 指在沒有對樣本進行任何觀測情況下的概率）；$P(w_i|x)$稱爲後驗概率（posterior probability: 指在已知特徵$x$情況下樣本屬於各類的概率）；$p(x)$稱作特徵$x$的總體密度；$p(x|w_i)$稱作類條件密度，它描述了各類樣本的特徵分佈。
上述問題其實是讓我們求解各種類別的後驗概率，由於先驗概率$P(w)$是已知的，與當前樣本無關，並且$p(x|w)$項可以設法根據一定的已知樣本（訓練樣本）進行估計，因此後驗概率$P(w_i|x) $的求解變得很簡單了。
以下有一個很簡單貝葉斯公式應用實例：

最小錯誤率貝葉斯決策：分別求解各類決策的後驗概率，選擇後驗概率最大的決策。
由於不同情況的分類錯誤所帶來的損失是不同的。
最小風險貝葉斯決策：分別將各類決策的後驗概率與決策損失相乘，選擇風險最小的決策。（最小錯誤率貝葉斯決策可看作一類特殊的最小風險貝葉斯決策）

注：如無特殊說明，以上博文中的圖片均來源於張學工所著《模式識別》第三版