Python---爬蟲---清洗---SnowNLP(基礎NLP處理庫)

安裝：pip3 install  snownlp

from snownlp import SnowNLP

s = SnowNLP(data)

1.# 分詞

s.words

2.# 詞語標註

s.tags

3.# 情感分析

s.sentiments

4.# 轉換拼音

s.pinyin

5.# 轉換簡體

s.han

6.# 提取關鍵字

s.keywords(3)

7.# 提取摘要

s.summary(3)

8.文本相似度

s.sim(['文章'])

提供訓練 ：

# 分詞訓練
from snownlp import seg
seg.train('data.txt')
seg.save('seg.marshal')
# 詞性標註訓練
# from snownlp import tag
# tag.train('199801.txt')
# tag.save('tag.marshal')
# 情感分析訓練
# from snownlp import sentiment
# sentiment.train('neg.txt', 'pos.txt')
# sentiment.save('sentiment.marshal')