1 貝葉斯公式
設x是個隨機變量，表示爲魚的光澤度，w1、w2分別表示鱸魚和鮭魚。已知的先驗概率爲p(w1)+p(w2) = 1。
P(x | w) 表示類別狀態爲w時的x的概率密度函數，有時也稱爲狀態條件概率密度。因此，p(x | w1)與p(x | w2)之間的區別就表示了鱸魚與鮭魚間光澤度的區別。如圖2.1
在通過觀察和測量（這在實際應用中，可以通過訓練語料的出），發現了一條魚的光澤度x，及其所屬的類別w。類別w，並且具有特徵值x的模式的聯合概率密度可以寫成：
p(w,x) = p(w|x)p(x) = p(x|w)p(w)。 公式1
公式1通過，以下公式推導出來。p(x|w)=p(x,w)/p(w), p(w|x)=p(w,x)/p(x), p(w,x)=p(x,w)。
從而，推出公式1。
從上述公式可以得出，p(w|x) = (p(x|w)p(w))/p(x) 公式2
公式2成爲貝葉斯公式。
貝葉斯公式可用非正式的英語表示成：posterior = (likelihood * prior) / evidence.
通過觀測x的值，我們可以將先驗概率p(w)轉換爲後驗概率p(w|x)，即假設特徵x已知的條件下類別屬於w的概率。
稱p(x | w)爲w關於x的似然函數，或簡稱爲“似然”（likelihood），表明在其他條件都相等的情況下，是的p(x|w)較大的w更具有可能是真實的類別。
注意，後驗概率主要是由先驗概率和似然函數的乘積所決定的，證據因子(evidence)p(x)可僅僅看成是一個標量因子，以保證各類別的後驗概率綜合爲1。
後驗概率圖，如2.2
從上圖，可以看出如果一個觀測值x，使得p(w1|x)比p(w2|x)大，我們很自然的會做出真實類別是w1的判決。
判決的誤差率爲：p(error|x) = {p(w1|x) 如果判爲w2, p(w2|x) 如果判爲w1}。
