樸素貝葉斯與貝葉斯網絡

樸素貝葉斯與貝葉斯網絡

標籤（空格分隔）： 機器學習

---

樸素貝葉斯

樸素貝葉斯樸素在哪裏呢？ —— 兩個假設
* 一個特徵出現的概率與其他特徵（條件）獨立；
* 每個特徵同等重要。

樸素貝葉斯分類器

P(c|x)=P(c)P(x|c)P(x)=P(x)P(x)Πdi=1P(xi|c)
1）計算先驗概率及條件概率；
2）對於給定的實例，用貝葉斯公式計算後驗概率。
在計算類條件概率時，如果不加平滑因子，則是利用極大似然估計；
如果加上平滑因子，就是拉普拉斯平滑。

一個貝葉斯決策的例子

現在有兩個袋子，袋子X中裝有2顆紅球和2顆黑球，還有1美元；袋子Y中裝有1顆紅球和2顆黑球。在選擇袋子之前，可以從任意一個袋子中選擇一個小球，如果摸出來的是紅球，應該選哪個袋子？如果摸出來的是黑球。又應該選擇哪個袋子？

• 用R表示紅球，用B表示黑球。
• 選擇每個袋子的概率：P(X)=12,P(Y)=12 ;
• 選擇了袋子X的條件下摸到紅球的概率：P(R|X)=12 ,摸到黑球的概率：P(B|X)=12 ;
• 選擇了袋子Y的條件下摸到紅球的概率：P(R|Y)=13 ,摸到黑球的概率：P(B|Y)=23 ;
• 由全概率公式：摸到紅球的概率P(R)=P(R|X)P(X)+P(R|Y)P(Y)=512 ; 摸到黑球的概率爲P(B)=P(B|X)P(X)+P(B|Y)P(Y)=712 ;
• 由貝葉斯公式：
  
  • 摸到紅球時，是袋子X的概率爲：P(X|R)=P(R|X)P(X)P(R)=35 ;
  • 摸到紅球時，是袋子Y的概率爲：P(Y|R)=P(R|Y)P(Y)P(R)=25 ;
  • 摸到黑球時，是袋子X的概率爲：P(X|B)=P(B|X)P(X)P(B)=37 ;
  • 摸到黑球時，是袋子Y的概率爲：P(Y|B)=P(B|Y)P(Y)P(B)=47 .
• 所以摸到的球是紅色時，選擇這個袋子；摸到的球是黑色時，選擇另外一個袋子。

圖模型

根據是否是有向圖，可以分爲有向圖模型和無向圖模型。
有向圖模型（又稱爲貝葉斯網絡）：包含隱馬爾科夫模型，馬爾科夫隨機過程；
無向圖模型（又稱爲馬爾科夫網絡）：條件隨機場等

貝葉斯網絡

樸素貝葉斯可以看做是貝葉斯網絡的特殊情況：即該網絡中無邊，各個節點都是獨立的。
那麼，當樸素貝葉斯中的強假設：獨立同分布不成立時，應該如何解決呢？可以使用貝葉斯網絡。
貝葉斯網絡藉助有向無環圖來刻畫屬性之間的依賴關係，並使用條件概率表來描述屬性的聯合概率分佈。
貝葉斯網絡的學習主要包括3部分：貝葉斯網絡B 由結構G 和參數θ 構成，即B=<G,θ>

• 結構，即創建貝葉斯模型；建模型通過領域知識和數據本身得出。
• 學習，即估計模型中的參數；
• 推斷，即作出最後的決策。