Pyhton生成《百年孤獨》高頻詞詞雲

對於喜歡的書，想更多的瞭解它。利用Python的jieba庫和wordcloud庫，可以統計書中的高頻詞並生成詞雲，小試了兩本書：一本是《百年孤獨》，另一本是近期讀完的一本《山茶文具店》。

 

• 庫準備

下載對應python版本及操作系統的安裝包，安裝好jieba庫和wordcloud庫，可參考博文。

wordcloud官網，也可參考這篇中文博客。

jieba的github介紹及用例，中文介紹很詳盡。

• Input輸入文件準備

爲了生成詞雲，需要先準備好下圖中的紅字文件（運行本文的代碼後將生成綠字文件）。

1. 小說文本——范曄版百度網盤
2. 停用詞——網絡下載指路
3. 詞雲字體——使用本機微軟字體（C:\Windows\Fonts）
4. 詞雲輪廓mask——在線製作工具（選擇白背景jpeg格式保存）
5. 自定義詞典（使人名等專有名詞不拆分），下附：

梅爾基亞德斯
何塞·阿爾卡蒂奧·布恩迪亞
烏爾蘇拉
何塞·阿爾卡蒂奧
奧雷里亞諾·布恩迪亞
阿瑪蘭妲
麗貝卡
阿爾卡蒂奧
奧雷里亞諾·何塞
奧雷里亞諾·特里斯特
蕾梅黛絲
何塞·阿爾卡蒂奧第二
奧雷里亞諾第二
何塞·阿爾卡蒂奧
雷納塔·蕾梅黛絲
阿瑪蘭妲·烏爾蘇拉
奧雷里亞諾·巴比洛尼亞
奧雷里亞諾
皮埃特羅·克雷斯皮
費爾南達
赫裏內勒多·馬爾克斯
馬格尼菲科·比斯巴勒
堂阿波利納爾·摩斯科特
奧雷裏託
皮埃特羅·克雷斯皮
佩特拉·科特斯
庇拉爾·特爾內拉
桑塔索菲亞·德拉·彼達

• 代碼實現

#-*- coding: utf-8 -*-
#.py文件名不能和引用的庫名重複
"""
Created on Sun Mar  8 11:01:44 2020

@author: toto
"""

import os,jieba

from wordcloud import WordCloud
from PIL import Image
import numpy as np

cwd = os.getcwd()#當前工作路徑

#os.path.join(cwd,文件名)== 文件名
jieba.load_userdict("UserDict.txt")#加載自定義詞典文本

book = "Solitude.txt"#處理的書籍文本，注意檢查不要亂碼
stop_word = "stop_word.txt"#停用詞文本
top_word = "TopWord.txt"#高頻詞文本

type_pic = "Marquez.jpeg"#白背景詞雲掩膜圖片
cloud = "Solitudecloud.png"#詞雲圖

##——分詞——
#讀取txt書籍文件
fb = open(book,'r',encoding='UTF-8')
book_txt = fb.read()

#讀取txt停用詞文件
ff = open(stop_word,'r',encoding='UTF-8')
stop_word_txt = ff.read()

#拆分詞語存入列表
#jieba.add_word("何塞·阿爾卡蒂奧·布恩迪亞")
word_ls = jieba.lcut(book_txt,cut_all=False,HMM=True) # 精確模式
#print(word_ls)

##——統計詞頻——
word_dict = {}

for i in word_ls:
    
    if i not in stop_word_txt:
    
        word_dict[i] = word_dict.get(i, 0) + 1

#print(word_dict)

word_ls = sorted(word_dict.items(), key=lambda x: x[1], reverse=True)#變成以（詞語，次數）爲元組的列表
print(word_ls[0:101])


#寫入高頻詞文本
#fw = open(top_word,"wt",encoding="utf-8")
top_word = []
for j in range(200):
    
    top_word.append(word_ls[j][0])

top_word_txt = " ".join(top_word)     
    
##——生成詞雲——
Marquez_mask = np.array(Image.open(type_pic))
wordcloud_Solitude = WordCloud(
        background_color="white", 
        max_words=200,
    	# 添加遮罩層
        mask=Marquez_mask,
        # 生成中文字體
        font_path = os.path.join(cwd,"SIMKAI.TTF"),
        contour_width=3,
        min_font_size=2,
        #max_font_size=40,
        )

wordcloud_Solitude.generate(top_word_txt)#注意函數參數是列表，不是txt文本
wordcloud_Solitude.to_file(cloud)


fb.close()
ff.close()
#拓展——jieba自定義詞典正則表達式匹配（如何塞·阿爾卡蒂奧·布恩迪亞）

• 生成圖

• 拓展

考慮到《百年孤獨》中人名的特殊性，重名的阿爾卡蒂奧和奧雷里亞諾們，修改jieba庫源碼，使包含特殊字符" · "的人名不拆分（如何塞·阿爾卡蒂奧·布恩迪亞），實現jieba自定義詞典的正則表達式匹配。

革命尚未成功，同志仍需努力！