4. 樸素貝葉斯

簡介

貝葉斯法則: P(A|B)∗P(B)=P(B|A)∗P(A)$P(A|B)\ast P(B)=P(B|A)\ast P(A)$

定義
設輸入空間X爲n維向量的集合, 輸出空間爲類標記集合Y={c1,c2,...,ck]$c_1,c_2,...,c_k]$ , 輸入爲特徵向量x∈X$x\in X$ , 輸出爲類標記y∈Y$y\in Y$ , P(X,Y)是X和Y的聯合概率分佈, 訓練數據集T={(x1,y1),(x2,y2),...,(xn,yn)$(x_1,y_1),(x_2,y_2),...,(x_n,y_n)$ }.
貝葉斯法通過訓練數據集學習聯合概率分佈P(X,Y)
條件獨立性假設:

P(X=x|Y=ck)=P(X1=x1,...,Xn=xn|Y=ck)=∏j=1nP(Xj=xj|Y=ck)$$P(X=x|Y=c_k)=P(X^1=x^1,...,X^n=x^n|Y=c_k)={\displaystyle \prod _{j=1}^{n}P(X^j=x^j|Y=c_k)}$$

此處上標表示第j個特徵,樸素貝葉斯法的重要前提

基本方法

樸素貝葉斯分類時, 對給定的輸入x,通過學習到的模型計算後驗概率分佈P(Y=ck|X=x)$P(Y=c_k|X=x)$ , 將後驗概率最大的類作爲x的類輸出:

P(X=x)=∑kP(X=x∩Y=ck)=∑k(P(X=x|Y=ck)∗P(Y=ck))P(Y=ck|X=x)=P(X=x|Y=ck)∗P(Y=ck)P(X=x)=P(X=x|Y=ck)∗P(Y=ck)∑k(P(X=x|Y=ck)∗P(Y=ck))綜合以上公式有: P(Y=ck|X=x)=P(Y=ck)∗∏jP(Xj=xj|Y=ck)∑k(P(Y=ck)∗∏jP(Xj=xj|Y=ck))也可表示爲: y=f(x)=argmaxckP(Y=ck)∗∏jP(Xj=xj|Y=ck)∑k(P(Y=ck)∗∏jP(Xj=xj|Y=ck))上式分母對所有的k都相同, 所以有: y=argmaxckP(Y=ck)∗∏jP(Xj=xj|Y=ck)即使[P(X=x|Y=ck)∗P(Y=ck))]由聯合分布=條件分布*邊緣分布的關系:P(x,y)=P(y|x)∗P(x)=P(x|y)∗P(y)有如下: 1.損失函數的期望(離散): Rexp(f)=E[L(Y,f(X))]=∑x∑yL(y,f(x))∗P(x,y)=∑x∑yL(y,f(x))∗P(y|x)∗P(x)=∑x(∑yL(y,f(x))∗P(y|x))∗P(x)=∑x(∑k=1L(ck,y)∗P(ck|x))∗P(x)=Ex(∑k=1L(ck,y)∗P(ck|x))(E[g(X)]=∑ig(xi)pi)2.損失函數的期望(連續): Rexp(f)=E[L(Y,f(X))]=∫x∫yL(y,f(x))∗P(x,y)dxdy=∫x∫yL(y,f(x))∗P(y|x)∗P(x)∗dxdy=∫x(∫yL(y,f(x))∗P(y|x)dy)P(x)dx=Ex(∫yL(y,f(x))∗P(y|x)dy)(E[g(X)]=∫g(x)f(x)dx)以離散變量爲例, 爲了使期望最小化, 只需對X=x逐個極小化, 即: f(x)=argminy∑k=1KL(ck,y)∗P(ck|X=x)=argminy∑k=1KP(y≠ck|X=x)次處L爲0-1損失函數=argminy(1−P(y=ck|X=x))=argmaxyP(y=ck|X=x)$$\begin{gathered} P(X=x)=\sum _{k}P(X=x\cap Y=c_k)=\sum _k(P(X=x|Y=c_k)\ast P(Y=c_k)) \\ P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)\ast P(Y=c_k)}{P(X=x)}=\frac{P(X=x|Y=c_k)\ast P(Y=c_k)}{{\displaystyle \sum _k(P(X=x|Y=c_k)\ast P(Y=c_k))}} \\ \text{綜合以上公式有: }P(Y=c_k|X=x)=\frac{P(Y=c_k)\ast \prod _{j}P(X^j=x^j|Y=c_k)}{{\displaystyle \sum _k(P(Y=c_k)\ast \prod _{j}P(X^j=x^j|Y=c_k))}} \\ \text{也可表示爲: }y=f(x)=argma{x}_{c_k}\frac{P(Y=c_k)\ast \prod _{j}P(X^j=x^j|Y=c_k)}{{\displaystyle \sum _k(P(Y=c_k)\ast \prod _{j}P(X^j=x^j|Y=c_k))}} \\ \text{上式分母對所有的k都相同, 所以有: }y=argma{x}_{c_k}P(Y=c_k)\ast \prod _{j}P(X^j=x^j|Y=c_k)\text{即使}[P(X=x|Y=c_k)\ast P(Y=c_k))] \\ \text{由聯合分佈=條件分佈*邊緣分佈的關係:}P(x,y)=P(y|x)\ast P(x)=P(x|y)\ast P(y)\text{有如下: } \\ \begin{array}{rl}\text{1.損失函數的期望(離散): }{R}_{exp}(f)& =E[L(Y,f(X))]=\sum _x\sum _{y}L(y,f(x))\ast P(x,y)\\ & =\sum _x\sum _{y}L(y,f(x))\ast P(y|x)\ast P(x)\\ & =\sum _x(\sum _{y}L(y,f(x))\ast P(y|x))\ast P(x)\\ & =\sum _x(\sum _{k=1}L(c_k,y)\ast P(c_k|x))\ast P(x)\\ & =E_x(\sum _{k=1}L(c_k,y)\ast P(c_k|x))(E[g(X)]=\sum _{i}g(x_i)p_i)\end{array} \\ \begin{array}{rl}\text{2.損失函數的期望(連續): }{R}_{exp}(f)& =E[L(Y,f(X))]={\int }_x{\int }_{y}L(y,f(x))\ast P(x,y)dxdy\\ & ={\int }_x{\int }_{y}L(y,f(x))\ast P(y|x)\ast P(x)\ast dxdy\\ & ={\int }_x({\int }_{y}L(y,f(x))\ast P(y|x)dy)P(x)dx\\ & =E_x({\int }_{y}L(y,f(x))\ast P(y|x)dy)(E[g(X)]=\int g(x)f(x)dx)\end{array} \\ \text{以離散變量爲例, 爲了使期望最小化, 只需對X=x逐個極小化, 即: } \\ \begin{array}{rl}f(x)& =argmi{n}_y\sum _{k=1}^{K}L(c_k,y)\ast P(c_k|X=x)\\ & =argmi{n}_y\sum _{k=1}^{K}P(y\ne c_k|X=x)\text{次處L爲0-1損失函數}\\ & =argmi{n}_y(1-P(y=c_k|X=x))\\ & =argma{x}_{y}P(y=c_k|X=x)\end{array} \end{gathered}$$

根據期望風險最小化就得到了後驗概率最大化

參數估計

y=argmaxckP(Y=ck)∗∏jP(Xj=xj|Y=ck)先驗概率的極大似然估計: P(Y=ck)=∑i=1nI(yi=ck)n,k=1,2,...,k設第j個特徵xj的取值集合爲(aj1,aj2,...,ajSj),條件概率的極大似然估計爲:P(Xj=ajl|Y=ck)=∑i=1nI(xji=ajl,yi=ck)∑i=1nI(yi=ck),j=1,2,...,n;l=1,2,...,Sj;k=1,2,...,K其中n代表訓練數據集的數量, K代表分類數量, xji表示第i個樣本的第j個特徵, ajl第j個特徵可能取的第l個值; P(Xj=ajl|Y=ck)表示在Y=ck條件下, 樣本中第j個特徵等於ajl的概率$$\begin{gathered} y=argma{x}_{c_k}P(Y=c_k)\ast \prod _{j}P(X^j=x^j|Y=c_k) \\ \text{先驗概率的極大似然估計: }P(Y=c_k)=\frac{{\displaystyle \sum _{i=1}^{n}I(y_i=c_k)}}{n},k=1,2,...,k \\ \text{設第j個特徵}{x}^j\text{的取值集合爲}(a_{j1},a_{j2},...,a_{jSj}),\text{條件概率的極大似然估計爲:} \\ P(X^j=a_{jl}|Y=c_k)=\frac{{\displaystyle \sum _{i=1}^{n}I(x_i^j=a_{jl},y_i=c_k)}}{{\displaystyle \sum _{i=1}^{n}I(y_i=c_k)}},j=1,2,...,n;l=1,2,...,S_j;k=1,2,...,K \\ \text{其中n代表訓練數據集的數量, K代表分類數量, }{x}_i^j\text{表示第i個樣本的第j個特徵, }{a}_{jl}\text{第j個特徵可能取的第l個值; } \\ P(X^j=a_{jl}|Y=c_k)\text{表示在}Y=c_k\text{條件下, 樣本中第j個特徵等於}{a}_{jl}\text{的概率} \end{gathered}$$

算法

貝葉斯估計

當使用極大似然估計概率值時, 可能出現0的情況.
這時會影響到後驗概率的計算結果, 試分類產生偏差.
解決方法是添加一個正數

P(Xj=ajl|Y=ck)=∑i=1nI(xji=ajl,yi=ck)+λ∑i=1nI(yi=ck)+Sjλ(λ≥0)$$P(X^j=a_{jl}|Y=c_k)=\frac{{\displaystyle \sum _{i=1}^{n}I(x_i^j=a_{jl},y_i=c_k)+\lambda }}{{\displaystyle \sum _{i=1}^{n}I(y_i=c_k)+S_j\lambda }}(\lambda \ge 0)$$

但λ$\lambda$ =0時就是極大似然估計; 常取λ$\lambda$ =1, 稱爲拉普拉斯平滑.
顯然對於任何l=1,2,...,Sj$l=1,2,...,S_j$ (Sj$S_j$ 表示第j個特徵共有Sj$S_j$ 個可能取值), k=1,2,...,K$k=1,2,...,K$ 有:

Pλ(Xj=ajl|Y=ck)>0∑l=1SjP(Xj=ajl|Y=ck)=1$$\begin{gathered} P_{\lambda }(X^j=a_{jl}|Y=c_k)>0 \\ \sum _{l=1}^{S_j}P(X^j=a_{jl}|Y=c_k)=1 \end{gathered}$$

先驗概率的貝葉斯估計是:

Pλ(Y=ck)=∑i=1nI(yi=ck)+λn+Kλ$$P_{\lambda }(Y=c_k)=\frac{{\displaystyle \sum _{i=1}^{n}I(y_i=c_k)+\lambda }}{n+K\lambda }$$