ES[7.6.x]學習筆記(七)IK中文分詞器

在上一節中,我們給大家介紹了ES的分析器,我相信大家對ES的全文搜索已經有了深刻的印象。分析器包含3個部分:字符過濾器、分詞器、分詞過濾器。在上一節的例子,大家發現了,都是英文的例子,是吧?因爲ES是外國人寫的嘛,中國如果要在這方面趕上來,還是需要屏幕前的小夥伴們的~

英文呢,我們可以按照空格將一句話、一篇文章進行分詞,然後對分詞進行過濾,最後留下有意義的詞。但是中文怎麼分呢?中文的一句話是沒有空格的,這就要有一個強大的中文詞庫,當你的內容中出現這個詞時,就會將這個詞提煉出來。這裏大家也不用重複造輪子,經過前輩的努力,這個中文的分詞器已經有了,它就是今天要給大家介紹的IK中文分詞器

IK中文分詞器的安裝

ES默認是沒有IK中文分詞器的,我們要將IK中文分詞器作爲一個插件安裝到ES中,安裝的步驟也很簡單:

  1. 從GitHub上下載適合自己ES版本的IK中文分詞器,地址如下:https://github.com/medcl/elasticsearch-analysis-ik/releases
  2. 在我們的ES的插件目錄中(${ES_HOME}/plugins)創建ik目錄,

    mkdir ik
  3. 將我們下載好的IK分詞器解壓到ik目錄,這裏我們安裝unzip命令,進行解壓。
  4. 重啓我們所有的ES服務。

到這裏,我們的IK中文分詞器就安裝完了。

IK中文分詞器初探

在上一節我們訪問了ES的分析器接口,指定了分析器和文本的內容,我們就可以看到分詞的結果。那麼既然我們已經安裝了Ik中文分詞器,當然要看一下效果了。在看效果之前,我們先要說一下,IK中文分詞器插件給我們提供了兩個分析器

  • ik_max_word: 會將文本做最細粒度的拆分
  • ik_smart:會做最粗粒度的拆分

我們先看看ik_max_word的分析效果吧,

POST _analyze
{
  "analyzer": "ik_max_word",
  "text":     "中華人民共和國國歌"
}

我們指定分詞器爲ik_max_word,文本內容爲中華人民共和國國歌。我們看一下分詞的結果:

{
    "tokens": [
        {
            "token": "中華人民共和國",
            "start_offset": 0,
            "end_offset": 7,
            "type": "CN_WORD",
            "position": 0
        },
        {
            "token": "中華人民",
            "start_offset": 0,
            "end_offset": 4,
            "type": "CN_WORD",
            "position": 1
        },
        {
            "token": "中華",
            "start_offset": 0,
            "end_offset": 2,
            "type": "CN_WORD",
            "position": 2
        },
        {
            "token": "華人",
            "start_offset": 1,
            "end_offset": 3,
            "type": "CN_WORD",
            "position": 3
        },
        {
            "token": "人民共和國",
            "start_offset": 2,
            "end_offset": 7,
            "type": "CN_WORD",
            "position": 4
        },
        {
            "token": "人民",
            "start_offset": 2,
            "end_offset": 4,
            "type": "CN_WORD",
            "position": 5
        },
        {
            "token": "共和國",
            "start_offset": 4,
            "end_offset": 7,
            "type": "CN_WORD",
            "position": 6
        },
        {
            "token": "共和",
            "start_offset": 4,
            "end_offset": 6,
            "type": "CN_WORD",
            "position": 7
        },
        {
            "token": "國",
            "start_offset": 6,
            "end_offset": 7,
            "type": "CN_CHAR",
            "position": 8
        },
        {
            "token": "國歌",
            "start_offset": 7,
            "end_offset": 9,
            "type": "CN_WORD",
            "position": 9
        }
    ]
}

我們可以看到,分詞分的非常細,我們在使用上面的這些進行搜索時,都可以搜索到中華人民共和國國歌這個文本。我們再看一下另外一個分析器ik_smart

POST _analyze
{
  "analyzer": "ik_smart",
  "text":     "中華人民共和國國歌"
}

我們的文本內容同樣是中華人民共和國國歌,看一下分詞的效果,

{
    "tokens": [
        {
            "token": "中華人民共和國",
            "start_offset": 0,
            "end_offset": 7,
            "type": "CN_WORD",
            "position": 0
        },
        {
            "token": "國歌",
            "start_offset": 7,
            "end_offset": 9,
            "type": "CN_WORD",
            "position": 1
        }
    ]
}

同樣的文本,使用ik_smart進行分詞時,只分成了兩個詞,和ik_max_word分詞器比少了很多。這就是兩個分詞器的區別,不過這兩個分析器都是可以對中文進行分詞的。

創建索引時指定IK分詞器

既然我們安裝了IK中文分詞器的插件,那麼我們在創建索引時就可以爲text類型的字段指定IK中文分詞器了。來看看下面的例子,

PUT ik_index
{
    "mappings": {
        "properties": {
            "id": {
                "type": "long"
            },
            "title": {
                "type": "text",
                "analyzer": "ik_max_word"
            }
        }
    }
}

我們創建了索引ik_index,並且爲字段title指定了分詞器ik_max_word。我們執行一下,創建成功。然後我們再通過GET請求看一下這個索引的映射情況。

GET ik_index/_mapping

返回的結果如下:

{
    "ik_index": {
        "mappings": {
            "properties": {
                "id": {
                    "type": "long"
                },
                "title": {
                    "type": "text",
                    "analyzer": "ik_max_word"
                }
            }
        }
    }
}

我們可以看到title字段的分析器是ik_max_word

爲索引指定默認IK分詞器

在上一節中,我們已經給大家介紹了爲索引指定默認分詞器的方法,這裏我們直接把分詞器改爲IK分詞器就可以了,如下:

PUT ik_index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "default": {
          "type": "ik_max_word"
        }
      }
    }
  }
}

這樣我們在索引中就不用創建每一個字段,可以通過動態字段映射,將String類型的字段映射爲text類型,同時分詞器指定爲ik_max_word。我們試一下,向ik_index索引中添加一條記錄。

POST ik_index/_doc/1
{
    "id": 1,
    "title": "大興龐各莊的西瓜",
    "desc": "大興龐各莊的西瓜真是好吃,脆沙瓤,甜掉牙"
}

執行成功。我們再執行搜索試一下,如下:

POST ik_index/_search
{
  "query": { "match": { "title": "西瓜" } }
}

我們搜索title字段匹配西瓜,執行結果如下:

{
    "took": 2,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 1,
            "relation": "eq"
        },
        "max_score": 0.2876821,
        "hits": [
            {
                "_index": "ik_index",
                "_type": "_doc",
                "_id": "1",
                "_score": 0.2876821,
                "_source": {
                    "id": 1,
                    "title": "大興龐各莊的西瓜",
                    "desc": "大興龐各莊的西瓜真是好吃,脆沙瓤,甜掉牙"
                }
            }
        ]
    }
}

我們可以看到剛纔插入的那條記錄已經搜索出來了,看來我們的IK中文分詞器起作用了,而且搜索的結果也符合我們的預期。我們再看看搜索西一個字的時候,能不能搜索到結果,

POST ik_index/_search
{
  "query": { "match": { "title": "西" } }
}

執行結果如下:

{
    "took": 4,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 0,
            "relation": "eq"
        },
        "max_score": null,
        "hits": []
    }
}

並沒有搜索出結果,說明在進行分詞時,西瓜是作爲一個詞出現的,並沒有拆分成每一個字,這也是符合我們預期的。

好了~ 這一節的IK中文分詞器就給大家介紹到這裏了~~

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章