Elasticsearch集羣搭建以及配置hanlp中文分詞插件

原創 技匠梦小磊 2020-04-14 21:32

一、運行環境

  1. 操作系統: CentOS 7.3
  2. Elasticsearch版本: 6.7.0
  3. hanlp版本：6.7.0

說明：如果有的朋友第一次安裝Elasticsearch,建議您先看一下我之前發佈的博客有專門講述Elasticsearch的安裝，可以說從零開始、很詳細。本次主要講述的是Elasticsearch集羣搭建方面的知識；
二、集羣搭建

  1. 下載Elasticsearch-6.7.0安裝包
    如又需要的朋友，歡迎您點擊此處 進行下載！！！
    密碼:582v
  2. 解壓到/gis/soft/目錄下
[agssvrYX@mongodb-1 soft]$ ll
總用量 90848
drwxr-x---  5 agssvrYX agssvrYX     4096 4月   6 10:33 elasticsearch-6.7.0
  1. 進入elasticsearch-6.7.0目錄，新建三個子目錄(我這裏是搭建了三個子節點node-9411、node-9412、node-9413)
[agssvrYX@mongodb-1 soft]$ ls -l elasticsearch-6.*
elasticsearch-6.7.0:
總用量 12
drwxr-x--- 9 agssvrYX agssvrYX 4096 4月   6 10:33 node-9411
drwxr-x--- 9 agssvrYX agssvrYX 4096 4月   6 10:34 node-9412
drwxr-x--- 9 agssvrYX agssvrYX 4096 4月   6 10:32 node-9413
  1. 我們先以node-9411目錄爲例(同理：node-9412、node-9413一樣)，看一下具體的目錄內容：
[agssvrYX@mongodb-1 node-9411]$ ll
總用量 476
drwxr-x---  3 agssvrYX agssvrYX   4096 4月   6 10:33 bin
drwxr-x---  3 agssvrYX agssvrYX   4096 4月   6 12:39 config
drwxr-x---  4 agssvrYX agssvrYX   4096 4月   6 10:33 data
drwxr-x---  3 agssvrYX agssvrYX   4096 4月   6 10:33 lib
-rwxr-x---  1 agssvrYX agssvrYX  13692 4月   6 10:32 LICENSE.txt
drwxr-x---  2 agssvrYX agssvrYX   4096 4月   6 10:33 logs
drwxr-x--- 31 agssvrYX agssvrYX   4096 4月   6 10:32 modules
-rwxr-x---  1 agssvrYX agssvrYX 427502 4月   6 10:32 NOTICE.txt
drwxr-x---  3 agssvrYX agssvrYX   4096 4月   6 10:32 plugins
-rwxr-x---  1 agssvrYX agssvrYX   8519 4月   6 10:33 README.textile
  1. 先cd進入config目錄，然後打開elasticsearch.yml配置文件，進行集羣的搭建配置
[agssvrYX@mongodb-1 node-9411]$ cd config/
[agssvrYX@mongodb-1 config]$ vi elasticsearch.yml
cluster.name: IntelligentSearch #集羣名稱

node.name: node-9411 #節點名稱
node.master: true #表示節點是否成爲主節點
node.data: true #表示節點是否存儲數據

bootstrap.memory_lock: false #是否鎖住內存，避免交換(swapped)帶來的性能損失,默認值是: false
bootstrap.system_call_filter: false #是否支持過濾掉系統調用
network.host: 10.130.0.174 #本地監聽綁定的ip地址
http.port: 9411 #對外提供http服務的端口
transport.tcp.port: 9300 #節點間交互的tcp端口
http.cors.enabled: true #是否支持跨域，默認爲false
http.cors.allow-origin: "*" #允許跨域後，表示支持所有域名

#設置集羣中master節點的初始列表，可以通過這些節點來自動發現新加入集羣的節點。
discovery.zen.ping.unicast.hosts: ["10.130.0.174:9300","10.130.0.174:9301", "10.130.0.174:9302"]
discovery.zen.minimum_master_nodes: 1 #設置這個參數來保證集羣中的節點可以知道其它N個有master資格的節點。默認爲1，對於大的集羣來說，可以設置大一點的值（2-4）
#設置索引數據的存儲路徑，默認是es根目錄下的data文件夾，可以設置多個存儲路徑，用逗號隔開，例：path.data: /xxx/yyy/zz1,/xxx/yyy/zz2
path.data: /gis/data/elasticsearch-6.7.0/node-9411

#設置日誌文件的存儲路徑，默認是es根目錄下的logs文件夾
path.logs: /gis/log/elasticsearch-6.7.0/node-9411
  1. 打開jvm.option文件，用於Elasticsearch的java堆內存的設置
[agssvrYX@mongodb-1 config]$ vi jvm.options 
-Xms1g
-Xmx1g
################################################################
## Expert settings
################################################################
##
## All settings below this section are considered
## expert settings. Don't tamper with them unless
## you understand what you are doing
##
################################################################

## GC configuration
-XX:+UseConcMarkSweepGC
-XX:CMSInitiatingOccupancyFraction=75
-XX:+UseCMSInitiatingOccupancyOnly

## G1GC Configuration
# NOTE: G1GC is only supported on JDK version 10 or later.
# To use G1GC uncomment the lines below.
# 10-:-XX:-UseConcMarkSweepGC
# 10-:-XX:-UseCMSInitiatingOccupancyOnly
# 10-:-XX:+UseG1GC
# 10-:-XX:InitiatingHeapOccupancyPercent=75

## DNS cache policy
# cache ttl in seconds for positive DNS lookups noting that this overrides the
# JDK security property networkaddress.cache.ttl; set to -1 to cache forever
-Des.networkaddress.cache.ttl=60
-Des.networkaddress.cache.negative.ttl=10

## optimizations

# pre-touch memory pages used by the JVM during initialization
-XX:+AlwaysPreTouch

## basic

# explicitly set the stack size
-Xss1m

# set to headless, just in case
-Djava.awt.headless=true

# ensure UTF-8 encoding by default (e.g. filenames)
-Dfile.encoding=UTF-8

# use our provided JNA always versus the system one
-Djna.nosys=true

# turn off a JDK optimization that throws away stack traces for common
# exceptions because stack traces are important for debugging
-XX:-OmitStackTraceInFastThrow

# flags to configure Netty
-Dio.netty.noUnsafe=true
-Dio.netty.noKeySetOptimization=true
-Dio.netty.recycler.maxCapacityPerThread=0

# log4j 2
-Dlog4j.shutdownHookEnabled=false
-Dlog4j2.disable.jmx=true

-Djava.io.tmpdir=${ES_TMPDIR}

## heap dumps

# generate a heap dump when an allocation from the Java heap fails
# heap dumps are created in the working directory of the JVM
-XX:+HeapDumpOnOutOfMemoryError

# specify an alternative path for heap dumps; ensure the directory exists and
# has sufficient space
-XX:HeapDumpPath=data

# specify an alternative path for JVM fatal error logs
-XX:ErrorFile=logs/hs_err_pid%p.log

## JDK 8 GC logging
8:-XX:+PrintGCDetails
8:-XX:+PrintGCDateStamps
8:-XX:+PrintTenuringDistribution
8:-XX:+PrintGCApplicationStoppedTime
8:-Xloggc:logs/gc.log
8:-XX:+UseGCLogFileRotation
8:-XX:NumberOfGCLogFiles=32
8:-XX:GCLogFileSize=64m

# JDK 9+ GC logging
9-:-Xlog:gc*,gc+age=trace,safepoint:file=logs/gc.log:utctime,pid,tags:filecount=32,filesize=64m
# due to internationalization enhancements in JDK 9 Elasticsearch need to set the provider to COMPAT otherwise
# time/date parsing will break in an incompatible way for some date patterns and locals
9-:-Djava.locale.providers=COMPAT
# temporary workaround for C2 bug with JDK 10 on hardware with AVX-512
10-:-XX:UseAVX=2

其餘node-9412和node-9413節點都按照上述步驟進行設置就OK了！
注意：大家在啓動es時候可能會遇到該問題[1] max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
解決辦法：

[agssvrYX@mongodb-1 ~]$ sudo su
[root@mongodb-1 agssvrYX]# vi /etc/sysctl.conf
追加以下內容：
vm.max_map_count=655360
保存後，執行：
sysctl -p
重新啓動，成功。
必須是以root用戶進行執行，否則不生效
  1. 啓動Elasticsearch
[agssvrYX@mongodb-1 elasticsearch-6.7.0]$ ./node-9411/bin/elasticsearch -d
[agssvrYX@mongodb-1 elasticsearch-6.7.0]$ ./node-9412/bin/elasticsearch -d
[agssvrYX@mongodb-1 elasticsearch-6.7.0]$ ./node-9413/bin/elasticsearch -d
[agssvrYX@mongodb-1 ~]$ ps -ef | grep elasticsearch
agssvrYX  74936  16812  0 18:10 pts/0    00:00:00 grep --color=auto elasticsearch
agssvrYX 226846      1 22 13:15 ?        01:07:23 /bin/java -Xms1g -Xmx1g -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -Des.networkaddress.cache.ttl=60 -Des.networkaddress.cache.negative.ttl=10 -XX:+AlwaysPreTouch -Xss1m -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Djna.nosys=true -XX:-OmitStackTraceInFastThrow -Dio.netty.noUnsafe=true -Dio.netty.noKeySetOptimization=true -Dio.netty.recycler.maxCapacityPerThread=0 -Dlog4j.shutdownHookEnabled=false -Dlog4j2.disable.jmx=true -Djava.io.tmpdir=/tmp/elasticsearch-2918152704943329653 -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=data -XX:ErrorFile=logs/hs_err_pid%p.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintTenuringDistribution -XX:+PrintGCApplicationStoppedTime -Xloggc:logs/gc.log -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=32 -XX:GCLogFileSize=64m -Des.path.home=/gis/soft/elasticsearch-6.7.0/node-9412 -Des.path.conf=/gis/soft/elasticsearch-6.7.0/node-9412/config -Des.distribution.flavor=default -Des.distribution.type=tar -cp /gis/soft/elasticsearch-6.7.0/node-9412/lib/* org.elasticsearch.bootstrap.Elasticsearch -d
agssvrYX 226887 226846  0 13:15 ?        00:00:00 /gis/soft/elasticsearch-6.7.0/node-9412/modules/x-pack-ml/platform/linux-x86_64/bin/controller
agssvrYX 228253      1 14 13:18 ?        00:43:05 /bin/java -Xms1g -Xmx1g -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -Des.networkaddress.cache.ttl=60 -Des.networkaddress.cache.negative.ttl=10 -XX:+AlwaysPreTouch -Xss1m -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Djna.nosys=true -XX:-OmitStackTraceInFastThrow -Dio.netty.noUnsafe=true -Dio.netty.noKeySetOptimization=true -Dio.netty.recycler.maxCapacityPerThread=0 -Dlog4j.shutdownHookEnabled=false -Dlog4j2.disable.jmx=true -Djava.io.tmpdir=/tmp/elasticsearch-6541350922282874948 -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=data -XX:ErrorFile=logs/hs_err_pid%p.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintTenuringDistribution -XX:+PrintGCApplicationStoppedTime -Xloggc:logs/gc.log -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=32 -XX:GCLogFileSize=64m -Des.path.home=/gis/soft/elasticsearch-6.7.0/node-9411 -Des.path.conf=/gis/soft/elasticsearch-6.7.0/node-9411/config -Des.distribution.flavor=default -Des.distribution.type=tar -cp /gis/soft/elasticsearch-6.7.0/node-9411/lib/* org.elasticsearch.bootstrap.Elasticsearch -d
agssvrYX 228293 228253  0 13:18 ?        00:00:00 /gis/soft/elasticsearch-6.7.0/node-9411/modules/x-pack-ml/platform/linux-x86_64/bin/controller
agssvrYX 228597      1 22 13:19 ?        01:05:58 /bin/java -Xms1g -Xmx1g -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -Des.networkaddress.cache.ttl=60 -Des.networkaddress.cache.negative.ttl=10 -XX:+AlwaysPreTouch -Xss1m -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Djna.nosys=true -XX:-OmitStackTraceInFastThrow -Dio.netty.noUnsafe=true -Dio.netty.noKeySetOptimization=true -Dio.netty.recycler.maxCapacityPerThread=0 -Dlog4j.shutdownHookEnabled=false -Dlog4j2.disable.jmx=true -Djava.io.tmpdir=/tmp/elasticsearch-6351678759434082529 -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=data -XX:ErrorFile=logs/hs_err_pid%p.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintTenuringDistribution -XX:+PrintGCApplicationStoppedTime -Xloggc:logs/gc.log -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=32 -XX:GCLogFileSize=64m  -Des.path.home=/gis/soft/elasticsearch-6.7.0/node-9413 -Des.path.conf=/gis/soft/elasticsearch-6.7.0/node-9413/config -Des.distribution.flavor=default -Des.distribution.type=tar -cp /gis/soft/elasticsearch-6.7.0/node-9413/lib/* org.elasticsearch.bootstrap.Elasticsearch -d
agssvrYX 228646 228597  0 13:19 ?        00:00:00 /gis/soft/elasticsearch-6.7.0/node-9413/modules/x-pack-ml/platform/linux-x86_64/bin/controller

三、配置hanlp中文分詞插件

  1. 我們在配置安裝hanlp中文分詞插件之前，先來了解一下這個問題？
    (1) 使用es進行全文搜索爲什麼會很快呢？
    主要是因爲es使用稱爲倒排索引的結構達到快速全文搜索的目的。
  2. hanlp中文分詞插件作用以及效果
    舉個例子：
    比如說有三個文檔
    文檔1: 我希望祖國戰勝疫情
    文檔2: 祝福祖國明天會更好
    文檔3: 我愛祖國

經過hanlp中文分詞插件,以上三個文檔均會根據分詞規則,將文檔裏的內容進行分詞，顯示的結果如下:
注意:不同的分詞規則,分詞結果不一樣,選擇根據分詞器提供的分詞規則找到適合的分詞規則
文檔1分詞結果： [我,祝福,祖國,戰勝,疫情]
文檔2分詞結果： [祝福,祖國,明天,會,更好]
文檔3分詞結果： [我,愛,祖國]

通過上面的分詞結果，我們會很驚訝的發現拆分的每個詞都是我們熟悉的詞語， 如果不使用中文分詞插件，就會發現上面的文檔把每個字拆分成了一個詞，對我們中文檢索很不方便，如果數據量很大的話可以說相當的費力。

在這裏插入圖片描述
通過圖中的所描述的倒排索引,當我們搜索"祝福"二字時,es通過倒排索引可以極其快速的檢索出文檔1和文檔2。如果沒有hanlp中文分詞插件,搜索"祝福"就會被拆分爲"祝""福"兩個詞的倒排索引, 就會把包含"祝"的文檔都檢索出來,跟我實際上想要的結果相差甚遠了！

  1. 下載elasticsearch-analysis-hanlp-v6.x中文分詞插件
    如果有的朋友想下載，歡迎點擊此處進行下載！！！
    密碼:3zt2
  2. 解壓analysis-hanlp壓縮包到plugins目錄下
[agssvrYX@mongodb-1 plugins]$ ll
總用量 4
drwxr-x--- 3 agssvrYX agssvrYX 4096 4月   6 10:32 analysis-hanlp
[agssvrYX@mongodb-1 plugins]$ cd analysis-hanlp/
[agssvrYX@mongodb-1 analysis-hanlp]$ ll
總用量 7824
drwxr-x--- 2 agssvrYX agssvrYX    4096 4月   6 10:32 data
-rw-r----- 1 agssvrYX agssvrYX   20973 4月   6 10:32 elasticsearch-analysis-hanlp-6.7.0.jar
-rw-r----- 1 agssvrYX agssvrYX 7971308 4月   6 10:32 hanlp-1.2.8.jar
-rw-r----- 1 agssvrYX agssvrYX    2700 4月   6 10:32 plugin-descriptor.properties
-rw-r----- 1 agssvrYX agssvrYX     434 4月   6 10:32 plugin-security.policy
  1. 打開plugin-descriptor.properties文件
[agssvrYX@mongodb-1 analysis-hanlp]$ vi plugin-descriptor.properties
description=HANLP chinese segment plugin
#
# 'version': plugin's version
version=6.7.0
#
# 'name': the plugin name
name=analysis-hanlp

### mandatory elements for site plugins:
#
# 'site': set to true to indicate contents of the _site/
#  directory in the root of the plugin should be served.
#site=${elasticsearch.plugin.site}
#
### mandatory elements for jvm plugins :
#
# 'jvm': true if the 'classname' class should be loaded
#  from jar files in the root directory of the plugin.
#  Note that only jar files in the root directory are
#  added to the classpath for the plugin! If you need
#  other resources, package them into a resources jar.
#jvm=${elasticsearch.plugin.jvm}
#
# 'classname': the name of the class to load, fully-qualified.
classname=org.elasticsearch.plugin.analysis.hanlp.AnalysisHanlpPlugin
#
# 'java.version' version of java the code is built against
# use the system property java.specification.version
# version string must be a sequence of nonnegative decimal integers
# separated by "."'s and may have leading zeros
java.version=1.8
#
# 'elasticsearch.version' version of elasticsearch compiled against
# You will have to release a new version of the plugin for each new
# elasticsearch release. This version is checked when the plugin
# is loaded so Elasticsearch will refuse to start in the presence of
# plugins with the incorrect elasticsearch.version.
elasticsearch.version=6.7.0
  1. 在jvm.option文件中添加以下內容
-Djava.security.policy=/gis/soft/elasticsearch-6.7.0/node-9411/plugins/analysis-hanlp/plugin-security.policy
  1. 重啓Elasticsearch
[agssvrYX@mongodb-1 ~]$ ps -ef | grep elasticsearch
agssvrYX 120296  16812  0 20:14 pts/0    00:00:00 grep --color=auto elasticsearch
agssvrYX 226846      1 16 13:15 ?        01:07:33 /bin/java -Xms1g -Xmx1g -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -Des.networkaddress.cache.ttl=60 -Des.networkaddress.cache.negative.ttl=10 -XX:+AlwaysPreTouch -Xss1m -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Djna.nosys=true -XX:-OmitStackTraceInFastThrow -Dio.netty.noUnsafe=true -Dio.netty.noKeySetOptimization=true -Dio.netty.recycler.maxCapacityPerThread=0 -Dlog4j.shutdownHookEnabled=false -Dlog4j2.disable.jmx=true -Djava.io.tmpdir=/tmp/elasticsearch-2918152704943329653 -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=data -XX:ErrorFile=logs/hs_err_pid%p.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintTenuringDistribution -XX:+PrintGCApplicationStoppedTime -Xloggc:logs/gc.log -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=32 -XX:GCLogFileSize=64m -Djava.security.policy=/gis/soft/elasticsearch-6.7.0/node-9411/plugins/analysis-hanlp/plugin-security.policy -Des.path.home=/gis/soft/elasticsearch-6.7.0/node-9412 -Des.path.conf=/gis/soft/elasticsearch-6.7.0/node-9412/config -Des.distribution.flavor=default -Des.distribution.type=tar -cp /gis/soft/elasticsearch-6.7.0/node-9412/lib/* org.elasticsearch.bootstrap.Elasticsearch -d
agssvrYX 226887 226846  0 13:15 ?        00:00:00 /gis/soft/elasticsearch-6.7.0/node-9412/modules/x-pack-ml/platform/linux-x86_64/bin/controller
agssvrYX 228253      1 10 13:18 ?        00:43:16 /bin/java -Xms1g -Xmx1g -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -Des.networkaddress.cache.ttl=60 -Des.networkaddress.cache.negative.ttl=10 -XX:+AlwaysPreTouch -Xss1m -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Djna.nosys=true -XX:-OmitStackTraceInFastThrow -Dio.netty.noUnsafe=true -Dio.netty.noKeySetOptimization=true -Dio.netty.recycler.maxCapacityPerThread=0 -Dlog4j.shutdownHookEnabled=false -Dlog4j2.disable.jmx=true -Djava.io.tmpdir=/tmp/elasticsearch-6541350922282874948 -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=data -XX:ErrorFile=logs/hs_err_pid%p.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintTenuringDistribution -XX:+PrintGCApplicationStoppedTime -Xloggc:logs/gc.log -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=32 -XX:GCLogFileSize=64m -Djava.security.policy=/gis/soft/elasticsearch-6.7.0/node-9411/plugins/analysis-hanlp/plugin-security.policy -Des.path.home=/gis/soft/elasticsearch-6.7.0/node-9411 -Des.path.conf=/gis/soft/elasticsearch-6.7.0/node-9411/config -Des.distribution.flavor=default -Des.distribution.type=tar -cp /gis/soft/elasticsearch-6.7.0/node-9411/lib/* org.elasticsearch.bootstrap.Elasticsearch -d
agssvrYX 228293 228253  0 13:18 ?        00:00:00 /gis/soft/elasticsearch-6.7.0/node-9411/modules/x-pack-ml/platform/linux-x86_64/bin/controller
agssvrYX 228597      1 15 13:19 ?        01:06:08 /bin/java -Xms1g -Xmx1g -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -Des.networkaddress.cache.ttl=60 -Des.networkaddress.cache.negative.ttl=10 -XX:+AlwaysPreTouch -Xss1m -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Djna.nosys=true -XX:-OmitStackTraceInFastThrow -Dio.netty.noUnsafe=true -Dio.netty.noKeySetOptimization=true -Dio.netty.recycler.maxCapacityPerThread=0 -Dlog4j.shutdownHookEnabled=false -Dlog4j2.disable.jmx=true -Djava.io.tmpdir=/tmp/elasticsearch-6351678759434082529 -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=data -XX:ErrorFile=logs/hs_err_pid%p.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintTenuringDistribution -XX:+PrintGCApplicationStoppedTime -Xloggc:logs/gc.log -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=32 -XX:GCLogFileSize=64m -Djava.security.policy=/gis/soft/elasticsearch-6.7.0/node-9411/plugins/analysis-hanlp/plugin-security.policy -Des.path.home=/gis/soft/elasticsearch-6.7.0/node-9413 -Des.path.conf=/gis/soft/elasticsearch-6.7.0/node-9413/config -Des.distribution.flavor=default -Des.distribution.type=tar -cp /gis/soft/elasticsearch-6.7.0/node-9413/lib/* org.elasticsearch.bootstrap.Elasticsearch -d
agssvrYX 228646 228597  0 13:19 ?        00:00:00 /gis/soft/elasticsearch-6.7.0/node-9413/modules/x-pack-ml/platform/linux-x86_64/bin/controller

四、總結

以上就是我最近幾天工作中需要完成的一小塊內容，今天正好有功夫來總結一下es集羣搭建和配置hanlp中文分詞插件如何完成的步驟和在此過程中遇到的問題，也希望能夠對有需要的朋友一點點幫助，如果在此過程中遇到問題歡迎大家在下方評論區留言！！！

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

mysql/mongo同步elastic search

ghostyusheng 2020-06-02 16:44:30

Elastic Search+LogStash+logback收集springboot運行日誌

部署Elastic Search和LogStash的過程不再說明，請先部署好。 使用logback-spring.xml輸出日誌：這裏只寫使用，具體的細節可以百度 application.yml logging: # 指定

laolvbig 2020-07-04 20:40:40

elasticsearch 的一些理解

es官方中文文檔 es 對比 solr solr 使用zookeeper 進行分佈式管理 es 自身帶有分佈式協調功能 solr 帶有各種數據格式 es 只支持json es 接近實時搜索     概念理解 集羣 ： 集羣是由一個或者多個

qq_36465337 2020-07-01 03:59:45

kibana日誌收集

一、Kibana安裝 Kibana 是爲 Elasticsearch 設計的開源分析和可視化平臺。你可以使用 Kibana 來搜索，查看存儲在 Elasticsearch 索引中的數據並與之交互。你可以很容易實現高級的數據分析和可

tinysakurac 2020-06-27 01:37:32

Elasticsearch 6.8.0配置TLS/SSL

配置步驟： 1.安裝x-pack 2.執行命令，生成elastic-stack-ca.p12文件，密碼使用123456 ./bin/elasticsearch-certutil ca 3.執行命令，生成elastic-certi

sdkdeveloper 2020-06-22 17:33:54

Elastic Search 6.8.0使用x-pack認證

Elastic Search 6.8.0http請求基於用戶名密碼方式認證實現 使用elasticsearch-xpack基於用戶名密碼進行安全認證。 ES6.8.0下載地址 ES 安裝目錄：/home/kduser/ljb/el

sdkdeveloper 2020-06-22 17:33:52

elasticsearch FORBIDDEN/12/index read-only / allow delete (api)]

往es推數據，發現如下錯誤： BulkIndexError: ('1 document(s) failed to index.', [{u'index': {u'status': 403, u'_type': u'***', u'_in

yingchenwy 2020-06-21 12:42:51

ElasticStack系列之九 & master、data 和 client 節點

在生產環境下，如果不修改elasticsearch節點的角色信息，在高數據量，高併發的場景下集羣容易出現腦裂等問題。 　　默認情況下，elasticsearch 集羣中每個節點都有成爲主節點的資格，也都存儲數據，還可以提供查詢服務。這些功

yingchenwy 2020-06-21 12:42:40

docker安裝ElasticSearch6.1.8和kibana

文章目錄docker安裝elasticsearch6.1.81. 下載鏡像2. 啓動鏡像3. 配置跨域4. 重啓鏡像5. 測試docker安裝elasticsearch headdocker安裝IK中文分詞器docker 安裝Ki

尚凯辉的博客 2020-06-20 16:44:47

ELK部署安裝

安裝elasticsearch 1.拉取elastic search鏡像 docker pull elasticsearch:7.3.0 docker images REPOSITORY                     TA

yishihuakai 2020-06-20 00:56:07

【elasticsearch】windows server 2008R2啓動elasticsearch.bat出現黑窗閃退

學習在windows server 2008R2安裝elasticsearch2.4.4，安裝參考文檔 https://www.cnblogs.com/cxxjohnson/p/9083941.html 安裝完成之後，發現只能用loca

Cymatic 2020-06-13 21:48:17

Elastic Search Java API（文檔操作API、Query DSL查詢API）、es搜索引擎實戰demo

elastic search實戰小demo:https://github.com/simonsfan/springboot-quartz-demo，分支:feature_es 之前在 Elastic Search之Search API（Q

饭一碗 2020-06-07 21:22:46

Elk架構學習

總結：logstash 太麻煩搞不定 決定將其換爲file beat  file beat入門： https://blog.51cto.com/zero01/2082794 整體架構：elastic search 做數據庫 和檢索 kin

liu1251303815 2020-06-07 06:01:00

Elasticsearch如何保證數據不丟失？

yingchenwy 2020-04-19 08:20:01

ES 性能調優過程

yingchenwy 2020-04-16 07:58:02