樸素貝葉斯

1.樸素貝葉斯

注：樸素貝葉斯和貝葉斯法不是同一個概念

樸素貝葉斯法是基於樸素貝葉斯定理和條件獨立性假設的方法。對於給定數據集，先基於特徵條件獨立假設學習輸入/輸出的聯合分佈。然後基於這個模型，求出給定的輸入x的後驗概率最大的輸出y。

定義：設輸入空間χ⊆Rn$\chi \subseteq R^n$ 爲n維向量的集合，輸出空間爲類標記集合γ$\gamma$ = {c1,c2,⋯,ck$c_1,c_2,\cdots ,c_k$ }。X是定義在輸入空間χ$\chi$ 上的隨機變量，Y是定義在輸出空間γ$\gamma$ 上的隨機變量。P(X,Y)是X和Y的聯合概率分佈，訓練數據集T={(x1,y1),(x2,y2),⋯,(xN,yN)$(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)$ }由P(X,Y)獨立同分布產生。

樸素貝葉斯法通過訓練集學習到聯合概率分佈P(X,Y)。想要學習到聯合概率分佈，我們需要先知道先驗概率分佈和條件概率分佈。先驗概率分佈爲

P(Y=ck),k=1,2,⋯,K$$P(Y=c_k),k=1,2,\cdots ,K$$

條件概率分佈爲

P(X=x|Y=ck)=P(X(1)=x(1),⋯,X(n)=x(n)|Y=ck),k=1,2,⋯,K$$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},\cdots ,X^{(n)}=x^{(n)}|Y=c_k),k=1,2,\cdots ,K$$

於是我們可以得到聯合概率分佈。

樸素貝葉斯法提出了條件獨立性的假設。具體的，條件獨立性假設爲

P(X=x|Y=ck)=P(X(1)=x(1),⋯,X(n)=x(n)|Y=ck)=∏j=1nP(X(j)=x(j)|Y=ck)$$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},\cdots ,X^{(n)}=x^{(n)}|Y=c_k)=\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$

樸素貝葉斯分類時，對於給定的x，通過學習到的模型計算後驗概率分佈P(Y=ck|X=x)$P(Y=c_k|X=x)$ ，將後驗概率最大的雷作爲x的類輸出。後驗概率根據貝葉斯定理可以得到:

P(Y=ck|X=x)=P(X=x|Y=ck)P(Y=ck)P(X=x)(此處P(X=x)不展開)=∏nj=1P(X(j)=x(j)|Y=ck)P(X=x)(代入條件獨立性得到)$$\begin{array}{rl}P(Y=c_k|X=x)& =\frac{P(X=x|Y=c_k)P(Y=c_k)}{P(X=x)}(此處P(X=x)不展開)\\ & =\frac{\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)}{P(X=x)}(代入條件獨立性得到)\end{array}$$

因爲分母都是一樣的，所以

y=argmaxckP(Y=ck)∏jP(X(j)=x(j)|Y=ck)$$y=argma{x}_{c_k}P(Y=c_k)\prod _{j}P(X^{(j)}=x(j)|Y=c_k)$$

2.後驗概率最大化

對於樸素貝葉斯函數，損失函數我們採取0-1損失函數：

L(Y,f(x))={1,Y≠f(X)0,Y=f(X)(2)$$\begin{array}{}\text{(2)}& L(Y,f(x))=\{\begin{array}{rl}& 1,Y\ne f(X)\\ & 0,Y=f(X)\end{array}\end{array}$$

接下來，書中求的是期望風險函數，對於期望風險，指的是對新樣本的預測能力，而期望風險函數，也就是泛化誤差:

Rexp(f)=E[L(Y,f(X)]=∫L(Y,f(X))P(X,Y)dxdy$$R_{exp}(f)=E[L(Y,f(X)]=\int L(Y,f(X))P(X,Y)dxdy$$

我們需要最小化泛化誤差，也就是期望風險函數，：

f(x)=argmin∫L(Y,f(X))P(X,Y)dxdy=argmin∫L(Y,f(X))P(Y|X)P(X)dxdy(使用條件概率公式)=argmin∫(∫L(Y,f(X))P(Y|X)dy)⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯P(X)dx$$\begin{array}{rl}f(x)& =argmin\int L(Y,f(X))P(X,Y)dxdy\\ & =argmin\int L(Y,f(X))P(Y|X)P(X)dxdy(使用條件概率公式)\\ & =argmin\int \underset{\_}{(\int L(Y,f(X))P(Y|X)dy)}P(X)dx\end{array}$$

要使上述公式最小，我們需要使得上面下劃線上的公式值最小，也就是使得y關於x的條件期望最小。而且y的取值是離散值，於是我們可以把條件期望寫成如下形式

Rexp=Eχ∑k=1K[L(ck,f(X)))]P(ck|X)$$R_{exp}=E_{\chi }\sum _{k=1}^K[L(c_k,f(X)))]P(c_k|X)$$

於是我們可以得到：

f(x)=argminy∈γ∑k=1KL(ck,y)P(ck|X=x)=argminy∈γ∑k=1KP(y≠ck|X=x)=argminy∈γ(1−P(y=ck|X=x))=argmaxy∈γP(y=ck|X=x)(1)(2)$$\begin{array}{rl}f(x)& =argmi{n}_{y\in \gamma }\sum _{k=1}^{K}L(c_k,y)P(c_k|X=x)\\ \text{(1)}& & =argmi{n}_{y\in \gamma }\sum _{k=1}^{K}P(y\ne c_k|X=x)\text{(2)}& & =argmi{n}_{y\in \gamma }(1-P(y=c_k|X=x))& =argma{x}_{y\in \gamma }P(y=c_k|X=x)\end{array}$$

對於f(x)來說，我們想找到y屬於某一類，使得所需條件最小化或者所需條件最大化，對於(1)處，是k-1個數相加，因爲y屬於某一類，則必定存在一個c_{k}=y,而且對於所有的k=1，2，…，K。可以得到P(ck|X=x)=1$P(c_k|X=x)=1$ ,於是我們可以得到(1)到(2)的變化。

貝葉斯估計

採用極大似然估計(本文省略了樸素貝葉斯的參數估計，想了解的看書上內容)會出現概率值爲0的情況，會很大程度影響到後驗概率的計算。解決這一問題的方法是採用貝葉斯估計。具體的，條件概率的貝葉斯估計是

Pλ(X(j)=ajl|Y=ck)=∑Ni=1I(x(j)i=ajl,yi=ck)+λ∑Ni=1I(yi=ck)+Sjλ$$P_{\lambda }(X^{(j)}=a_{jl}|Y=c_k)=\frac{\sum _{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda }{\sum _{i=1}^{N}I(y_i=c_k)+S_j\lambda }$$

式子中X(j)i$X_i^{(j)}$ 是指第i個樣本的第j個特徵;ajl$a_{jl}$ 是第j個特徵的可能取的第l個值，Sj$S_j$ 是指第j個特徵的可能取值數量。先驗概率的貝葉斯估計爲

Pλ(Y=ck)=∑Ni=1I(yi=ck)+λN+Kλ$$P_{\lambda }(Y=c_k)=\frac{\sum _{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda }$$

K是y的類別數量，N是數據集中輸入變量的數量。式子中的λ≥0$\lambda \ge 0$ 。當λ=0$\lambda =0$ 時是極大似然估計，λ=1$\lambda =1$ 時，是拉普拉斯平滑。在實際工程中，比如計算廣告中計算廣告轉換率時，也會採用貝葉斯平滑，想了解的可以去尋找相關博文或者論文。