HanLP-實詞分詞器詳解

在進行文本分類（非情感分類）時，我們經常只保留實詞（名、動、形）等詞，爲了文本分類的分詞方便，HanLP專門提供了實詞分詞器類NotionalTokenizer，同時在分類數據集加載處理時，默認使用了NotionalTokenizer分詞器。
在HanLPJava版代碼庫中可以查看下邊的文件中的函數

1、AbstractDataSet.java文件中的AbstractDataSet方法
2、HanLPTokenizer.java文件中的segment方法
3、NotionalTokenizer.java文件中的segment方法

簡單說明一下NotionalTokenizer類實現

1、初始化了一個維特比分詞器實例（最短路徑方法，用viterbi思想實現）
2、用CoreStopWordDictionary類的shouldInclude方法對維特比分詞結果進行過濾，該方法只保留屬於名詞、動詞、副詞、形容詞並且不在停用詞表中的詞。詳見CoreStopWordDictionary.java文件中的shouldInclude(Term)方法。
對於PyHanLP的調用方法可以參考

-- coding:utf-8 --

Author：wancong

Date: 2018-04-30

from pyhanlp import *
def demo_notional_tokenizer():

""" 演示自動去除停用詞、自動斷句的分詞器
>>> demo_notional_tokenizer()
[小區/n, 居民/n, 反對/v, 餵養/v, 流浪貓/nz, 居民/n, 贊成/v, 餵養/v, 小寶貝/nz]
[小區/n, 居民/n, 反對/v, 餵養/v, 流浪貓/nz]
[居民/n, 贊成/v, 餵養/v, 小寶貝/nz]
"""
Term =JClass("com.hankcs.hanlp.seg.common.Term")
NotionalTokenizer = JClass("com.hankcs.hanlp.tokenizer.NotionalTokenizer")

text = "小區居民有的反對餵養流浪貓，而有的居民卻贊成餵養這些小寶貝"
print(NotionalTokenizer.segment(text))
for sentence in NotionalTokenizer.seg2sentence(text):
    print(sentence)

if name == "__main__":

import doctest

doctest.testmod(verbose=True)