結巴分詞入門

TEST 1

'''
Created on 2018年12月8日

@author: admin
'''

import jieba

'''
cut方法有兩個參數
1)第一個參數是我們想分詞的字符串
2)第二個參數cut_all是用來控制是否採用全模式
'''

#全模式
word_list = jieba.cut("今天天氣真好。小明，我們去遠足吧！",cut_all=True)
print("全模式：","|".join(word_list))
#精確模式 , 默認就是精確模式
word_list = jieba.cut("今天天氣真好。小明，我們去遠足吧！",cut_all=False)
print("精確模式：","|".join(word_list))
#搜索引擎模式
word_list = jieba.cut_for_search("今天天氣真好。小明，我們去遠足吧！")
print("搜索引擎：","|".join(word_list))
#默認模式
word_list = jieba.cut("今天天氣真好。小明，我們去遠足吧！")
print("默認模式：","|".join(word_list))

TEST 2

# *-*coding=utf8*-*
'''
Created on 2018年12月8日

@author: admin
'''


#-*- coding:utf-8 -*-
import jieba

jieba.load_userdict("./dict.txt")
word_list = jieba.cut("今天去遠足嗎？要不咱們換個地方吧！園小園怎麼樣?沒問題小豆芽")
print("|".join(word_list))

TEST 3

# *-*coding=utf8*-*
'''
Created on 2018年12月8日

@author: admin
'''


import jieba.analyse as al
 
content = open("./topk.txt","rb").read()
word_topk = al.extract_tags(content,topK=4)
print("|".join(word_topk))

TEST 4

# *-*coding=utf8*-*
'''
Created on 2018年12月8日

@author: admin
'''


import jieba.posseg as pseg

words = pseg.cut("青島北京是不錯的地方")
for word in words:
    print(word.word,word.flag)

TEST 5

# *-*coding=utf8*-*
'''
Created on 2018年12月8日

@author: admin
'''


import jieba
#開啓並行分詞模式，參數爲參與並行分詞的進程數
#jieba.enable_parallel(2)
#關閉並行分詞
#jieba.disable_parallel()
content = open("./topk.txt","rb").read()
words = jieba.cut(content)
print("|".join(words))

TEST 6

# *-*coding=utf8*-*
'''
Created on 2018年12月8日

@author: admin
'''


#-*- coding:utf-8 -*-
 
import jieba
jieba.set_dictionary("./dict.txt")
content = open("./topk.txt","rb").read()
words = jieba.cut(content)
print("|".join(words))

TEST 7

# *-*coding=utf8*-*
'''
Created on 2018年12月8日

@author: admin
'''

import jieba

result = jieba.tokenize(u'今天天氣真好。親愛的，我們去遠足吧！')
for token in result:
    print("word %s\t\t start: %d \t\t end:%d" % (token[0],token[1],token[2]))

dict.txt

園小園 5
小豆芽 3 nr

topk.txt

　　看了曹聚仁〔２〕先生的一篇《殺錯了人》，覺得很痛快，但往回一想，又覺得有些還不免是憤激之談了，所以想提出幾句異議——


　　袁世凱〔３〕在辛亥革命之後，大殺黨人，從袁世凱那方面看來，是一點沒有殺錯的，因爲他正是一個假革命的反革命者。


　　錯的是革命者受了騙，以爲他真是一個筋斗，從北洋大臣變了革命家了，於是引爲同調，流了大家的血，將他浮上總統的寶位去。到二次革命〔４〕時，表面上好像他又是一個筋斗，從“國民公僕”〔５〕變了吸血魔王似的。其實不然，他不過又顯了本相。


　　於是殺，殺，殺。北京城裏，連飯店客棧中，都滿布了偵探；還有“軍政執法處”〔６〕，只見受了嫌疑而被捕的青年送進去，卻從不見他們活着走出來；還有，《政府公報》上，是天天看見黨人脫黨的廣告，說是先前爲友人所拉，誤入該黨，現在自知迷謬，從此脫離，要洗心革面的做好人了。


　　不久就證明了袁世凱殺人的沒有殺錯，他要做皇帝了。


　　這事情，一轉眼竟已經是二十年，現在二十來歲的青年，那時還在吸奶，時光是多麼飛快呵。


　　但是，袁世凱自己要做皇帝，爲什麼留下他真正對頭的舊皇帝〔７〕呢？這無須多議論，只要看現在的軍閥混戰就知道。他們打得你死我活，好像不共戴天似的，但到後來，只要一個“下野”了，也就會客客氣氣的，然而對於革命者呢，即使沒有打過仗，也決不肯放過一個。他們知道得很清楚。


　　所以我想，中國革命的鬧成這模樣，並不是因爲他們“殺錯了人”，倒是因爲我們看錯了人。


　　臨末，對於“多殺中年以上的人”的主張，我也有一點異議，但因爲自己早在“中年以上”了，爲避免嫌疑起見，只將眼睛看着地面罷。


　　四月十日曹聚仁。


　　記得原稿在“客客氣氣的”之下，尚有“說不定在出洋的時候，還要大開歡送會”這類意思的句子，後被刪去了。


　　四月十二日記曹聚仁。