ML算法基礎——分類算法（樸素貝葉斯）

樸素貝葉斯算法

1、概率基礎

• 聯合概率:包含多個條件，且所有條件同時成立的概率
  記作: P(A, B)
• 條件概率:就足事件A在另外一個事件B已經發生條件下的發生概率
  記作:P(A|B)
  特性: P(A1,A2|B)= P(A1|B)P(A2|B)
  注意:此條件概率的成立，是由於A1,A2相互獨立的結果。

2、樸素貝葉斯介紹

樸素貝葉斯-貝葉斯公式

舉例

特徵\統計	科技	娛樂	彙總（求和）
“商場”	9	51	60
“影院”	8	56	64
“支付寶”	20	15	35
“雲計算”	63	0	63
彙總(求和)	100	121	221

現有一篇被預測文檔：出現了影院，支付寶，雲計算，計算屬於科技、娛樂的
類別概率？

都除以P（W），所以省略P（W）

某個類別爲0，顯然是不合適的，如果詞頻列表裏面有很多出現次數爲0，很可能計算結果都爲0

解決辦法

3.樸素貝葉斯算法案例

3.1 sklearn樸素貝葉斯實現API

• sklearn.naive_bayes.MultinomialNB(alpha = 1.0)
  • 樸素貝葉斯分類
  • alpha：拉普拉斯平滑係數

3.2 sklearn-20類新聞分類

20個新聞組數據集包含20個主題的18000個新聞組帖子

下載數據集出錯如何解決
https://jingyan.baidu.com/article/ca2d939dc82d90aa6d31ce16.html

3.3 樸素貝葉斯案例流程

1. 加載20類新聞數據，並進行分割
2. 生成文章特徵詞
3. 樸素貝葉斯estimator流程進行預估

from sklearn.datasets import load_iris, fetch_20newsgroups
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB


def naviebayes():
    #
    news = fetch_20newsgroups(subset='all')
    #數據分割
    x_train, x_test, y_train, y_test =train_test_split(news.data,news.target,test_size=0.25)
    # 對數據集進行特徵抽取
    tf=TfidfVectorizer()
    #以訓練集當中的詞的列表進行每篇文章重要性分析
    x_train=tf.fit_transform(x_train)
    print(tf.get_feature_names())
    x_test=tf.transform(x_test)
    #進行樸素貝葉斯算法
    mlt=MultinomialNB(alpha=1.0)
    print(x_train)
    mlt.fit(x_train,y_train)
    y_predict=mlt.predict(x_test)
    print("預測的文章類別爲：", y_predict)
    # 得出準確率
    print("準確率爲：",mlt.score(x_test,y_test))

    return None

naviebayes()

結果：

[[0.         0.01483232 0.         ... 0.         0.         0.        ]
 [0.         0.         0.         ... 0.         0.         0.        ]
 [0.         0.         0.         ... 0.         0.         0.        ]
 ...
 [0.         0.         0.         ... 0.         0.         0.        ]
 [0.         0.         0.         ... 0.         0.         0.        ]
 [0.         0.         0.         ... 0.         0.         0.        ]]
預測的文章類別爲： [ 0 15  2 ...  2 17 15]
準確率爲： 0.8582342954159593

4.樸素貝葉斯分類特點總結

• 優點：
  • 樸素貝葉斯模型發源於古典數學理論，有穩定的分類效率。
  • 對缺失數據不太敏感，算法也比較簡單，常用於文本分類。
  • 分類準確度高，速度快
• 缺點：
  • 需要知道先驗概率P(F1,F2,…|C)，因此在某些時候會由於假設的先驗模型的原因導致預測效果不佳。（訓練集誤差大，結果不好）
  • 由於使用了樣本屬性獨立性的假設，所以如果樣本屬性有關聯時效果不好