模式識別（一）基於貝葉斯決策理論的分類器

1.1 引言

設計分類器是將未知類型的樣本分類到最可能的類別中。
後驗概率：
給定一個$M$類$（w_1,w_2,...,w_M）$的分類任務和一個用特徵向量x表示的未知樣本，生成條件概率$P(w_i|x),i=1,2,..M$,也稱後驗概率。

1.2貝葉斯決策理論

先驗概率：如果有N個訓練樣本，其中$N_1,N_2$個樣本分佈屬於$w_1,w_2$,則相應的先驗概率爲$P(w_1)=\frac{N_1}{N},P(w_2)=\frac{N_2}{N}$。
貝葉斯公式：
$P(w_i|x)=\frac{p(x|w_i)P(w_i)}{p(x)} \tag{1.1}$
$p(x)$是x的概率密度函數：
$p(x)=\sum_{i=1} ^{2}p(x|w_i)P(w_i) \tag{1.2}$
貝葉斯分類規則描述爲：
如果$P(w_1|x)>P(w_2|x)則x屬於w_1$;
如果$P(w_1|x)<P(w_2|x)則x屬於w_2$;
但是由於貝葉斯準則的極限性，出現判定錯誤是不可避免的，其錯誤率$P_e$的公式爲：
$2P_e= \int_{-\infty}^{x_0} p(x|w_2)dx+ \int_{x_0}^{+\infty}p(x|w_1)d_x$
因此需要最小化分類錯誤率。
貝葉斯分類器在最小化分類錯誤率是最優的。
最小平均風險

1.3判別函數和決策面

1.4正態分佈的貝葉斯分類

1.5未知概率密度函數的估計

1.6最近鄰規則

1.7貝葉斯網絡