樸素貝葉斯分類算法

樸素貝葉斯分類算法

• 主要內容
  
  • 貝葉斯定理
  • 樸素貝葉斯分類算法詳解
  • 樸素貝葉斯分類算法實例講解
  • 拉普拉斯平滑

---

1、貝葉斯定理
  貝葉斯定理是關於隨機事件A和B的條件概率（或邊緣概率）的一則定理。已知某條件概率，如何得到兩個事件交換後的概率，也就是在已知P(A|B)$P(A|B)$ 的情況下如何求得P(B|A)$P(B|A)$ 。其中，P(A|B)$P(A|B)$ 是在B發生的情況下A發生的可能性，計算如下：

  貝葉斯定理：

---

2、樸素貝葉斯分類算法詳解
  （1）x=(x1,x2,...xD)$\mathbf{x}=(x_1,x_2,...x_D)$ 表示含有D維屬性的數據對象。訓練集S$S$ 含有K$K$ 個類別，表示爲y=(y1,y2,...yK)$\mathbf{y}=(y_1,y_2,...y_K)$ 。
  （2）已知待分類數據對象x$\mathbf{x}$ ，預測x$\mathbf{x}$ 所屬類別，計算方式如下：

所得yk$y_k$ 即爲x$\mathbf{x}$ 所屬類別。上式表示，已知待分類數據對象x$\mathbf{x}$ 的情況下，分別計算x$\mathbf{x}$ 屬於y1、y2、...、yK$y_1、y_2、...、y_K$ 的概率，選取其中概率的最大值，此時所對應的yk$y_k$ ，即爲x$\mathbf{x}$ 所屬類別。
  （3）根據貝葉斯定理，P(yk|x)$P(y_k|\mathbf{x})$ 計算方式如下：
計算過程中，P(x)$P(\mathbf{x})$ 對於P(yk|x)$P(y_k|\mathbf{x})$ ，相當於常數。因此，若想得到P(yk|x)$P(y_k|\mathbf{x})$ 最大值，只需計算P(x|yk)P(yk)$P(\mathbf{x}|y_k)P(y_k)$ 最大值。如果類別的先驗概率未知，即P(yk)$P(y_k)$ 未知，則通常假定這些類別是等概率的，即P(y1)=P(y2)=...=P(yK)$P(y_1)=P(y_2)=...=P(y_K)$ 。
  （4）假設數據對象x$\mathbf{x}$ 的各屬性之間相互獨立，P(x|yk)$P(\mathbf{x}|y_k)$ 計算方式如下：

  （5）P(xd|yk)$P(x_d|y_k)$ 的計算方式如下：
  如果屬性Ad$A_d$ 是離散屬性或分類屬性。訓練集中屬於類別yk$y_k$ 的數據對象，在屬性Ad$A_d$ 下的相異屬性值共有n個；訓練集中屬於類別yk$y_k$ ，且在屬性Ad$A_d$ 下的屬性值爲xd$x_d$ 的數據對象共有m個。因此，P(xd|yk)$P(x_d|y_k)$ 計算方式如下：

  如果屬性Ad$A_d$ 是連續屬性。通常假設連續屬性均服從均值爲μ$\mu$ 、標準差爲σ$\sigma$ 的高斯分佈， 即

因此，P(xd|yk)$P(x_d|y_k)$ 計算方式如下：
其中，μyk${\mu }_{y_k}$ 、σyk${\sigma }_{y_k}$ 表示訓練集中屬於類別yk$y_k$ 的數據對象在屬性Ad$A_d$ 下的均值和標準差。
  例如，設x=(35,40000￥)$\mathbf{x}=(35,40000￥)$ ，其中A1$A_1$ 、A2$A_2$ 分別是屬性age、income。設類別屬性爲buys_computer，x$\mathbf{x}$ 的類別屬性值爲yes，即buys_computer=yes。針對連續屬性age，假設訓練集S$S$ 中購買計算機的顧客年齡爲38±12$38\pm 12$ ，即μage=38${\mu }_{age}=38$ 、σage=12${\sigma }_{age}=12$ 。將xage=35$x_{age}=35$ 、μage=38${\mu }_{age}=38$ 、σage=12${\sigma }_{age}=12$ 待入至上述高斯函數中，所得結果即爲P(age=35|buys_computer=yes)$P(age=35|buys\mathrm{\_}computer=yes)$ 的值。

---

3、樸素貝葉斯分類算法實例講解
  給定訓練數據如表1，使用樸素貝葉斯分類預測未知數據對象的類標號。數據對象用屬性age、income、student、credit_rating描述。類別屬性buys_computer具有兩個不同值，即yes、no。

表1 AllElectronics 顧客數據庫標記類的訓練數據
  待分類數據對象x=(age=youth,income=medium,student=yes,credit_rating=fair)$\mathbf{x}=(age=youth,income=medium,student=yes,credit\mathrm{\_}rating=fair)$ 。
  計算P(yk)$P(y_k)$ ：
P(buys_computer=yes)=9/14=0.643$P(buys\mathrm{\_}computer=yes)=9/14=0.643$
P(buys_computer=no)=5/14=0.357$P(buys\mathrm{\_}computer=no)=5/14=0.357$
  計算P(xd|yk)$P(x_d|y_k)$ ：
P(age=youth|buys_computer=yes)=2/9=0.222$P(age=youth|buys\mathrm{\_}computer=yes)=2/9=0.222$
P(age=youth|buys_computer=no)=3/5=0.600$P(age=youth|buys\mathrm{\_}computer=no)=3/5=0.600$
P(income=medium|buys_computer=yes)=4/9=0.444$P(income=medium|buys\mathrm{\_}computer=yes)=4/9=0.444$
P(income=medium|buys_computer=no)=2/5=0.400$P(income=medium|buys\mathrm{\_}computer=no)=2/5=0.400$
P(student=yes|buys_computer=yes)=6/9=0.667$P(student=yes|buys\mathrm{\_}computer=yes)=6/9=0.667$
P(student=yes|buys_computer=no)=1/5=0.200$P(student=yes|buys\mathrm{\_}computer=no)=1/5=0.200$
P(credit_rating=fair|buys_computer=yes)=6/9=0.667$P(credit\mathrm{\_}rating=fair|buys\mathrm{\_}computer=yes)=6/9=0.667$
P(credit_rating=fair|buys_computer=no)=2/5=0.400$P(credit\mathrm{\_}rating=fair|buys\mathrm{\_}computer=no)=2/5=0.400$
  計算P(x|yk)$P(\mathbf{x}|y_k)$ ：

P(x|buys_computer=yes)==P(age=youth|buys_computer=yes)×P(income=medium|buys_computer=yes)×P(student=yes|buys_computer=yes)×P(credit_rating=fair|buys_computer=yes)0.222×0.444×0.667×0.667=0.044(1)$$\begin{array}{}\text{(1)}& \begin{array}{rl}P(\mathbf{x}|buys\mathrm{\_}computer=yes)=& P(age=youth|buys\mathrm{\_}computer=yes)\times P(income=medium|buys\mathrm{\_}computer=yes)\\ & \times P(student=yes|buys\mathrm{\_}computer=yes)\times P(credit\mathrm{\_}rating=fair|buys\mathrm{\_}computer=yes)\\ =& 0.222\times 0.444\times 0.667\times 0.667=0.044\end{array}\end{array}$$

同理：
P(x|buys_computer=no)=0.600×0.400×0.200×0.400=0.019$P(\mathbf{x}|buys\mathrm{\_}computer=no)=0.600\times 0.400\times 0.200\times 0.400=0.019$
  計算P(x|yk)P(yk)$P(\mathbf{x}|y_k)P(y_k)$ ：
P(x|buys_computer=yes)P(buys_computer=yes)=0.044×0.643=0.028$P(\mathbf{x}|buys\mathrm{\_}computer=yes)P(buys\mathrm{\_}computer=yes)=0.044\times 0.643=0.028$
P(x|buys_computer=no)P(buys_computer=no)=0.019×0.357=0.007$P(\mathbf{x}|buys\mathrm{\_}computer=no)P(buys\mathrm{\_}computer=no)=0.019\times 0.357=0.007$
  由於0.028>0.007$0.028>0.007$ ，因此，待分類數據對象x$\mathbf{x}$ 的類別爲buys_computer=yes$buys\mathrm{\_}computer=yes$ 。

---

4、拉普拉斯平滑
  如果待分類數據對象x=(age=youth,income=medium,student=yes,credit_rating=worse)$\mathbf{x}=(age=youth,income=medium,student=yes,credit\mathrm{\_}rating=worse)$ ，而原始訓練集的屬性credit_rating中沒有worse屬性值，此時P(credit_rating=worse|buys_computer=yes)=0$P(credit\mathrm{\_}rating=worse|buys\mathrm{\_}computer=yes)=0$ ，導致P(x|buys_computer=yes)=0$P(\mathbf{x}|buys\mathrm{\_}computer=yes)=0$ 。然而真實情況中，待分類數據對象x$\mathbf{x}$ 可能有較高的概率屬於buys_computer=yes類別。
  如何解決上述問題呢？這裏介紹一種簡單的方法——拉普拉斯平滑處理，思想大致如下：待分類樣本x$\mathbf{x}$ 的第d$d$ 個屬性特徵xd$x_d$ 在類別yk$y_k$ 中出現的概率表示爲P(xd|yk)=mn$P\left(x_d|y_k\right)=\frac{m}{n}$ ，其中針對訓練樣本集合，n$n$ 表示類別yk$y_k$ 中數據對象的總個數，m$m$ 表示第d$d$ 個屬性特徵xd$x_d$ 在類別yk$y_k$ 中出現的次數。假設，拉普拉斯平滑處理參數爲λ$\lambda$ 。經過拉普拉斯平滑處理之後，P(xd|yk)=m+λn+Rλ$P\left(x_d|y_k\right)=\frac{m+\lambda }{n+R\lambda }$ ，其中R$R$ 表示類別yk$y_k$ 中樣本第d$d$ 個屬性特徵不同取值的個數。相應的，P(yk)=nN$P\left(y_k\right)=\frac{n}{N}$ ，經過拉普拉斯平滑處理之後，變爲P(yk)=n+λN+Kλ$P\left(y_k\right)=\frac{n+\lambda }{N+K\lambda }$ ，其中N$N$ 表示訓練樣本總個數，K$K$ 表示訓練樣本類別個數。我們不難發現，通過拉普拉斯平滑處理能夠有效避免概率爲零的情況。
  例 假定在某個訓練數據集上只有兩種類別，類別buys_computer=no包含500個對象，類別buys_computer=yes包含1000個對象。其中，當buys_computer=yes時，有0個對象income=low，990個對象income=medium，10個對象income=high。不使用拉普拉斯平滑處理，這些事件的概率分別是P(income=low|buys_computer=yes)=0$P\left(income=low|buys\mathrm{\_}computer=yes\right)=0$ 、P(income=medium|buys_computer=yes)=9901000$P\left(income=medium|buys\mathrm{\_}computer=yes\right)=\frac{990}{1000}$ 、P(income=high|buys_computer=yes)=101000$P\left(income=high|buys\mathrm{\_}computer=yes\right)=\frac{10}{1000}$ 、P(buys_computer=yes)=10001500$P\left(buys\mathrm{\_}computer=yes\right)=\frac{1000}{1500}$ 。當使用拉普拉斯平滑處理時，假設拉普拉斯平滑處理參數爲λ=1$\lambda =1$ ，分別得到如下的概率：

P(income=low|buys_computer=yes)=11003,P(income=medium|buys_computer=yes)=9911003,P(income=high|buys_computer=yes)=111003,P(buys_computer=yes)=10011502$P\left(income=low|buys\mathrm{\_}computer=yes\right)=\frac{1}{1003},P\left(income=medium|buys\mathrm{\_}computer=yes\right)=\frac{991}{1003},P\left(income=high|buys\mathrm{\_}computer=yes\right)=\frac{11}{1003},P\left(buys\mathrm{\_}computer=yes\right)=\frac{1001}{1502}$
經過拉普拉斯平滑處理之後的概率估計與對應的之前的概率估計很接近，但有效避免了零概率值。