NLTK(Python自然语言工具包)用于诸如标记化、词形还原、词干化、解析、POS标注等任务。该库具有几乎所有NLP任务的工具。
1.安装nltk
pip install nltk
(不要像一开始我一样傻傻的以为pip完就结束啦)
2.进入python 执行(也可以跳过直接看3):
import nltk
nltk.download()
然后会出现一下界面,不出意外所以的内容都不是绿色的,然后可以在此界面下载nltk_data。
一般来说,下载会非常非常慢,经常会卡在某个地方,而且下载好了也未必会奏效,我尝试各种方法下载了三天仍然没有下好。
测试下载成功的方法:
from nltk.book import*
如果有以下内容说明安装成功,否则就是安装失败:
3.出现最多的报错是 LookupError
解决办法,各种方法就不说了,说我认为最简单最省事的方法:
进入github:https://github.com/nltk/nltk_data
下载后,将packages改名为nltk_data放入报错提示的路径中即可
下载成功后执行nltk.download()可见:
另外,在使用分词函数(nltk.word_tokenize)的过程中,也会报错LookupError,此时执行以下代码即可(这个在错误提示中也有说明):
import nltk
nltk.download('punkt')