HanLP Java 配置和初步使用

HanLP介绍

HanLP是一款面向生产环境的自然语言处理工具包。
具有的功能如下:
中文分词 词性标注 命名实体识别 依存句法分析 语义依存分析 新词发现 关键词短语提取 自动摘要 文本分类聚类 拼音简繁 自然语言处理
【官方地址】http://hanlp.com
【GitHub地址】https://github.com/hankcs/HanLP

HanLP安装(Java)

本文章着重对HanLP的Java项目的安装进行讲解。

如果你想在Java项目中使用HanLP,那么现在还不能体验到HanLP2.0版本(20200208),现在只能安装在1.X分支(https://github.com/hankcs/HanLP/tree/1.x)。

安装方法有两种:

方式一:Maven仓库

<dependency>
    <groupId>com.hankcs</groupId>
    <artifactId>hanlp</artifactId>
    <version>portable-1.7.6</version>
</dependency>

零配置,即可使用基本功能(除由字构词、依存句法分析外的全部功能)。

对于分词来说,StandardTokenizer标准分词器可用,但是NLPTokenizer分词器会出错,需要data包。

本方法同样支持hanlp.properties(方式二中),也就是可配置data,无需手动引入jar包

方式二:自行下载jar、data、hanlp.properties。

  1. 下载
    data.zip
    hanlp-release.zip

  2. data.zip包含dictionary和mode两个文件夹。
    lhanlp-release.zip包含hanlp-1.7.6.jar、hanlp-1.7.6-sources.jar以及最重要的hanlp.properties。
    解压data.zip得到data文件夹。

  3. 将data文件夹、hanlp.properties移动到java项目中,这里我移动到了resources中,具体路径:

src/main/resources
  1. 修改hanlp.properties中的root路径(data的父目录):
root=./src/main/resources
  1. 引入jar包(如果同时使用了方式一就不需要这一步),这里自行百度,不同IDE方式不同。

HanLP初步使用

NLP分词初体验

package com.hankcs.demo;

import com.hankcs.hanlp.tokenizer.NLPTokenizer;
import com.hankcs.hanlp.utility.TestUtility;

public class DemoNLPSegment extends TestUtility
{
    public static void main(String[] args)
    {
        NLPTokenizer.ANALYZER.enableCustomDictionary(false); // 不用词典照样分词。
        System.out.println(NLPTokenizer.segment("在我国,春季田间管理的重点是夏季粮油作物,主要是冬小麦和油菜,产量超过全年粮食产量的五分之一。"));
        NLPTokenizer.ANALYZER.enableCustomDictionary(true); // 使用用词典分词。
        System.out.println(NLPTokenizer.segment("在我国,春季田间管理的重点是夏季粮油作物,主要是冬小麦和油菜,产量超过全年粮食产量的五分之一。"));
        System.out.println(NLPTokenizer.analyze("我救的不是他,是多年前一个寒夜里,在篝火与烈酒中,想仗剑江湖的少年。").translateLabels());
//        result.setData(JSON.toJSON(segmentList));
    }
}

输出结果:

[在/p, 我国/n, ,/w, 春季/t, 田间管理/l, 的/u, 重点/n, 是/v, 夏季/t, 粮油/j, 作物/n, ,/w, 主要/d, 是/v, 冬小麦/n, 和/c, 油菜/n, ,/w, 产量/n, 超过/v, 全年/n, 粮食/n, 产量/n, 的/u, 五分之一/m, 。/w]
[在/p, 我国/n, ,/w, 春季/t, 田间管理/l, 的/u, 重点/n, 是/v, 夏季/t, 粮油/j, 作物/n, ,/w, 主要/d, 是/v, 冬小麦/n, 和/c, 油菜/n, ,/w, 产量/n, 超过/v, 全年/n, 粮食产量/nz, 的/u, 五分之一/m, 。/w]
我/代词 救/动词 的/助词 不是/成语 他/代词 ,/标点符号 是/动词 多年前/数词 一个/数词 寒夜/名词 里/方位词 ,/标点符号 在/介词 篝火/名词 与/介词 烈酒/名词 中/方位词 ,/标点符号 想/动词 仗剑/动词 江湖/名词 的/助词 少年/名词 。/标点符号

从结果可以看出,使用词典的NLP分词(如果没配置data会出错)将“粮食产量”识别为一个词,不使用词典则分为“粮食”“产量”两个词。

更多实例请移步【官方GitHub-Demo】

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章