樸素貝葉斯法

樸素貝葉斯法

---

樸素貝葉斯法定義：

貝葉斯定理與特徵條件獨立假設的分類方法。

---

樸素貝葉斯法學習方法：

1，對於給定的訓練數據集，基於特徵條件獨立假設學習輸入\輸出的聯合概率分佈（建立模型）；
2，基於此模型對於給定的輸入x，利用貝葉斯定理求出後驗概率最大的輸出y。

---

1.貝葉斯定理：

2.條件獨立假設：
(等價於用於特徵在類確定的條件下都是條件獨立的)
條件獨立假設公式：

(輸入空間爲x,輸出空間爲類標記集合Y=(c1,c2,…,ck))

3.後驗概率：

---

樸素貝葉斯法分類器：

分類器就是求出後驗概率的最大值作爲x的類輸出:

由於公式中的分母對所有的ck值都是一樣的，再代入條件獨立假設公式，可把上式化 簡爲：

(後驗概率最大化等價於期望風險最小化)

---

1.極大似然估計：
先驗概率的極大似然估計：

條件概率的極大似然估計：

2.貝葉斯估計：
先驗概率的貝葉斯估計：

條件概率的貝葉斯估計：

當"λ=0"時，就是極大似然估計；當"λ=1"時，稱爲拉普拉斯平滑

---

（上述公式中沒有說明的字符都在下面的算法中給予說明，文中有時提到的j其實就是1,2,3,···,n）

樸素貝葉斯算法：

輸入：

輸出：
實例x的分類。

步驟：

（1）計算先驗概率及條件概率（最大似然估計\貝葉斯估計(公式e.f.g.h.)）
（2）對於給定的實例x，計算貝葉斯法分類器(公式d.)
（3）確定實例x的類

---

（"You got things to do. Places to go. People to see. Futures to make." -- 《Life in a Day 》）