Python模塊:jieba庫的使用
jieba庫的基本介紹
- jieba是優秀的中文分詞第三方庫
- 中文文本需要通過分詞獲得單個詞語
- jieba是優秀的中文分詞第三方庫,需要額外安裝
- jieba庫提供三種分詞模式,最簡單只需要掌握一個函數
- jieba庫的安裝
- (cmd命令行)pip install jieba
jieba分詞依靠中文詞庫 - 利用一箇中文詞庫,確定漢字之間的關聯概率
- 漢字間概率大的組成詞組,形成分詞結果
- 除了分詞,用戶還可以添加自定義的詞組
jieba庫的使用說明
- jieba庫分爲精確模式、全模式、搜索引擎模式
- 精確模式:把文本精確的且分開,不存在冗餘單詞
- 全模式 :把文本中所有可能的詞語都掃描出來,有冗餘
- 搜索引擎模式:在精確模式基礎上,對長詞再次切分
- jieba庫常用函數
- 分別爲jieba.lcut(s) , jieba.lcut(s,cut_all=True) , jieba.lcut_for_search(s) , jieba.add_word(w)