ML算法基础——分类算法（朴素贝叶斯）

朴素贝叶斯算法

1、概率基础

• 联合概率:包含多个条件，且所有条件同时成立的概率
  记作: P(A, B)
• 条件概率:就足事件A在另外一个事件B已经发生条件下的发生概率
  记作:P(A|B)
  特性: P(A1,A2|B)= P(A1|B)P(A2|B)
  注意:此条件概率的成立，是由于A1,A2相互独立的结果。

2、朴素贝叶斯介绍

朴素贝叶斯-贝叶斯公式

举例

特征\统计	科技	娱乐	汇总（求和）
“商场”	9	51	60
“影院”	8	56	64
“支付宝”	20	15	35
“云计算”	63	0	63
汇总(求和)	100	121	221

现有一篇被预测文档：出现了影院，支付宝，云计算，计算属于科技、娱乐的
类别概率？

都除以P（W），所以省略P（W）

某个类别为0，显然是不合适的，如果词频列表里面有很多出现次数为0，很可能计算结果都为0

解决办法

3.朴素贝叶斯算法案例

3.1 sklearn朴素贝叶斯实现API

• sklearn.naive_bayes.MultinomialNB(alpha = 1.0)
  • 朴素贝叶斯分类
  • alpha：拉普拉斯平滑系数

3.2 sklearn-20类新闻分类

20个新闻组数据集包含20个主题的18000个新闻组帖子

下载数据集出错如何解决
https://jingyan.baidu.com/article/ca2d939dc82d90aa6d31ce16.html

3.3 朴素贝叶斯案例流程

1. 加载20类新闻数据，并进行分割
2. 生成文章特征词
3. 朴素贝叶斯estimator流程进行预估

from sklearn.datasets import load_iris, fetch_20newsgroups
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB


def naviebayes():
    #
    news = fetch_20newsgroups(subset='all')
    #数据分割
    x_train, x_test, y_train, y_test =train_test_split(news.data,news.target,test_size=0.25)
    # 对数据集进行特征抽取
    tf=TfidfVectorizer()
    #以训练集当中的词的列表进行每篇文章重要性分析
    x_train=tf.fit_transform(x_train)
    print(tf.get_feature_names())
    x_test=tf.transform(x_test)
    #进行朴素贝叶斯算法
    mlt=MultinomialNB(alpha=1.0)
    print(x_train)
    mlt.fit(x_train,y_train)
    y_predict=mlt.predict(x_test)
    print("预测的文章类别为：", y_predict)
    # 得出准确率
    print("准确率为：",mlt.score(x_test,y_test))

    return None

naviebayes()

结果：

[[0.         0.01483232 0.         ... 0.         0.         0.        ]
 [0.         0.         0.         ... 0.         0.         0.        ]
 [0.         0.         0.         ... 0.         0.         0.        ]
 ...
 [0.         0.         0.         ... 0.         0.         0.        ]
 [0.         0.         0.         ... 0.         0.         0.        ]
 [0.         0.         0.         ... 0.         0.         0.        ]]
预测的文章类别为： [ 0 15  2 ...  2 17 15]
准确率为： 0.8582342954159593

4.朴素贝叶斯分类特点总结

• 优点：
  • 朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率。
  • 对缺失数据不太敏感，算法也比较简单，常用于文本分类。
  • 分类准确度高，速度快
• 缺点：
  • 需要知道先验概率P(F1,F2,…|C)，因此在某些时候会由于假设的先验模型的原因导致预测效果不佳。（训练集误差大，结果不好）
  • 由于使用了样本属性独立性的假设，所以如果样本属性有关联时效果不好