菜鳥如何使用hanlp做分詞的過程記錄

菜鳥如何使用hanlp做分詞的過程記錄

最近在學習hanlp的內容,準備在節後看看有沒有時間整理一波hanlp分享下,應該還是會像之前分享DKHadoop一樣的方式吧。把整個學習的過程中截圖在配文字的方式搞一下。

這兩天也在看一些其他人分享的hanlp學習和使用分享的文章,後面看到的分享也會轉載分享給大家。今天分享的這篇也是很早前別人分享的一篇如何用hanlp做分詞的文章,新手入門級的可以看看!

人工智能.jpg 



boss給了個做分詞的任務,最開始想用的是結巴分詞and正則表達式。後來發現結果並不好,需要一遍一遍篩選【第一個標準篩選出80%的數據,然後制定第二個標準,繼續篩選,然後制定第三個標準篩選,等等等等】

自己用了一下結巴分詞,感覺對於人名,地名,機構名,只是泛泛地使用了一下。在實際分開的時候,並不能很好地分開機構名稱。於是轉而使用hanlp分詞

但是hanlp分詞的缺點是只有在java上可以用,但是java一向又是我的弱項。所以在這裏寫一篇博客從頭至尾敘述一下怎麼樣使用hanlp

而且,小胖胖把我的電腦鎖在北師圖書館櫃子裏了。我工作沒有電腦可用,於是使用小胖的電腦,也就是說,所有的基本變量都需要我自己來配來下,因此也相當於是從一張白紙到使用hanlp的過程。

第一步:下載一個jdkopenjdk官網去下一個,直接安裝即可。

安裝過後,要配置三個環境變量,分別是

1JAVA_HOME:C:\Program Files\Java\jdk1.8.0_73

2CLASSPATH: 就是這個jdk打開之後裏面的那個lib的目錄

3PATH:就是jdk後面的bin目錄

配置完成之後,在Windows底下的cmd上面,輸入java -version看看有沒有反應即可判斷是否正確安裝jdk

【我這裏出現了個小問題,在胖胖的電腦裏,不知道她之前安裝過什麼東西,自帶了一個jre1.6 然而我安裝的是jre1.8 在cmd裏面報錯,說找不到jre1.6 後來我看了網上的說法,說是也許你別的軟件也會下載java環境,所以你可能有許多不同的包,系統在尋找路徑的時候,默認會根據你上面配置的環境變量裏面找。因此,需要把咱們最新下的那個環境變量放在一大堆環境變量的最前面,嘗試即可。】

載了jdk安裝成功之後,第二步,下載eclipse

到官網去找,記住,x86是32位,x64是64位,下載之後設定project的位置【比如我設在了D盤的根目錄,結果發現不太好,但是已經改不了了。。教訓】

安裝成功之後,第三步,去下載hanlp的各種東西

方法1.maven方法,下載一個0配置即可。【但是我不會玩兒】

方法2:先下載hanlp-1.2.8.jar這個jar包【備註,目前hanlp版本已經發布到了portable-1.6.8

http://hanlp.com/

再下載data.zip這個數據包,可以選擇,選擇下載標準數據or迷你數據or全部數據。大小不同。我下的是標準版的。40M

再下載hanlp.properties這個是一個以properties結尾的一個文件,我之前從來沒見過,不過可以用txt打開。

第四步:把下載的這些東西導入到eclipse裏面去構建路徑

1、jar包導入到eclipse的lib目錄下

http://jingyan.baidu.com/article/ca41422fc76c4a1eae99ed9f.html

2、自己在src裏面創建一個包,在包裏面創建一個類。包會在我設置的根目錄D:/下面,類名稱首字母必須大寫?【貌似不大寫的話,會被否決】

3、data包解壓,然後放在一個自己喜歡的路徑【我的路徑是D://py/】然後,在hanlp.properties這個文件裏,把root修改爲data存放的上一級目錄。

4、hanlp.properties拖動到src這個目錄下

圖1.png 

 

然後試驗了一個demo測試,發現報錯,後點擊import import com.hankcs.hanlp.HanLP然後run了一下程序

圖3.JPG 

依然報錯,發現是沒有把properties那個文件導入到bin目錄下,再次打開test0320,在那個bin目錄下複製properties文件之後運行,成功了

圖2.png 

轉載自tianbwin2995 的博客


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章