NLP分詞和在線分詞大總結

一、在線分詞

1、哈工大主幹分析，有詞性標記

https://ltp.ai/demo.html

2、百度在線詞法分析，也就包含分詞

https://ai.baidu.com/tech/nlp_basic/lexical

3、hanlp詞法分析

https://hanlp.hankcs.com/

4、結巴（jieba）在線分詞

https://app.gumble.pw/jiebademo/

 

二、離線分詞

1、jieba分詞

     安裝與使用

pip install jieba

#使用
import jieba 
jieba.cut('NLP分詞工具')

   2、pkuseg 北京大學開源

安裝與使用

pip3 install -U pkuseg
import pkuseg

seg = pkuseg.pkuseg()           # 以默認配置加載模型
text = seg.cut('我愛北京天安門')  # 進行分詞
print(text)

3、百度詞法分析

全自動安裝: pip install lac
半自動下載：先下載http://pypi.python.org/pypi/lac/，解壓後運行 python setup.py install
from LAC import LAC

# 裝載分詞模型
lac = LAC(mode='seg')
# 單個樣本輸入，輸入爲Unicode編碼的字符串
text = u"LAC是個優秀的分詞工具"
seg_result = lac.run(text)

第二種使用方法 使用paddleHub

    lac = hub.Module(name="lac")  ### 這些代碼在paddle demo下
    test_text = ["今天是個好日子", "天氣預報說今天要下雨", "下一班地鐵馬上就要到了"]

    # Set input dict
    inputs = {"text": test_text}