Centos7.6 Docker安裝Elasticsearch-7.6.1集羣

安裝步驟

一、準備工作

1、首先確保本機安裝好了JAVA運行環境

vi ~/.bash_profile   或者  vi ~/.profile

export JAVA_HOME=/home/dcs_dbsas/yyliu/kafkaAZB/jdk1.8.0_151

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH

export PATH=${JAVA_HOME}/bin:$PATH

注意替換上面的jdk路徑
然後生效
source ~/.profile

2、確保本機已經安裝好了docker環境，具體看我另一篇docker安裝

二、開始安裝

1、拉取鏡像

docker pull elasticsearch:7.6.1

docker pull kibana:7.6.1

docker pull logstash:7.6.1

2、新建文件夾

#存放配置文件的文件夾
mkdir -p elasticsearch/node-1/config
mkdir -p elasticsearch/node-2/config
mkdir -p elasticsearch/node-3/config
#存放數據的文件夾
mkdir -p elasticsearch/node-1/data
mkdir -p elasticsearch/node-2/data
mkdir -p elasticsearch/node-3/data
#存放運行日誌的文件夾
mkdir -p elasticsearch/node-1/log
mkdir -p elasticsearch/node-2/log
mkdir -p elasticsearch/node-3/log
#存放IK分詞插件的文件夾
mkdir -p elasticsearch/node-1/plugins
mkdir -p elasticsearch/node-2/plugins
mkdir -p elasticsearch/node-3/plugins

遞歸授權
chmod 744 -R elasticsearch/

注意你可以自己任意調整自己安裝文件夾的路徑

3、創建配置文件
創建yaml文建,在各個config文件夾下創建elasticsearch.yml文件
touch elasticsearch.yml

注意不同節點之間的端口和node 不同需要修改

#集羣名稱
cluster.name: my-es
#當前該節點的名稱
node.name: node-1
#是不是有資格競選主節點
node.master: true
#是否存儲數據
node.data: true
#最大集羣節點數
node.max_local_storage_nodes: 3
#給當前節點自定義屬性（可以省略）
#node.attr.rack: r1
#數據存檔位置
path.data: /usr/share/elasticsearch/data
#日誌存放位置
path.logs: /usr/share/elasticsearch/log
#是否開啓時鎖定內存（默認爲是）
#bootstrap.memory_lock: true
#設置網關地址，我是被這個坑死了，這個地址我原先填寫了自己的實際物理IP地址，
#然後啓動一直報無效的IP地址，無法注入9300端口，這裏只需要填寫0.0.0.0
network.host: 0.0.0.0
#設置其它結點和該結點交互的ip地址，如果不設置它會自動判斷，值必須是個真實的ip地址，設置當前物理機地址,
#如果是docker安裝節點的IP將會是配置的IP而不是docker網管ip
network.publish_host: 111.231.110.177
#設置映射端口
http.port: 9200
#內部節點之間溝通端口
transport.tcp.port: 9300
#集羣發現默認值爲127.0.0.1:9300,如果要在其他主機上形成包含節點的羣集,如果搭建集羣則需要填寫
#es7.x 之後新增的配置，寫入候選主節點的設備地址，在開啓服務後可以被選爲主節點，也就是說把所有的節點都寫上
discovery.seed_hosts: ["111.231.110.177:9300","111.231.110.177:9301","111.231.110.177:9302"]
#當你在搭建集羣的時候，選出合格的節點集羣，有些人說的太官方了，
#其實就是，讓你選擇比較好的幾個節點，在你節點啓動時，在這些節點中選一個做領導者，
#如果你不設置呢，elasticsearch就會自己選舉，這裏我們把三個節點都寫上
cluster.initial_master_nodes: ["node-1","node-2","node-3"]
#在羣集完全重新啓動後阻止初始恢復，直到啓動N個節點
#簡單點說在集羣啓動後，至少復活多少個節點以上，那麼這個服務纔可以被使用，否則不可以被使用，
gateway.recover_after_nodes: 2
#刪除索引是是否需要顯示其名稱，默認爲顯示
#action.destructive_requires_name: true

4、建立網絡

如果需要安裝kibana等其他，需要創建一個網絡，名字任意取，讓他們在同一個網絡，使得elasticsearch和kibana通信，網絡名稱可以自定義

docker network create es-net

5、安裝啓動

安裝並啓動node-1容器
docker run -e ES_JAVA_OPTS="-Xms340m -Xmx340m" --network es-net -d -p 9200:9200 -p 9300:9300 -v /root/elasticsearch/node-1/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /home/elasticsearch/node-1/plugins:/usr/share/elasticsearch/plugins -v /home/elasticsearch/node-1/data:/usr/share/elasticsearch/data -v /home/elasticsearch/node-1/log:/usr/share/elasticsearch/log --name es-node-1 elasticsearch:7.6.1

安裝並啓動node-2容器

docker run -e ES_JAVA_OPTS="-Xms512m -Xmx512m" --network es-net -d  -p 9201:9201 -p 9301:9301  -v /root/elasticsearch/node-2/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml  -v /home/elasticsearch/node-2/plugins:/usr/share/elasticsearch/plugins   -v /home/elasticsearch/node-2/data:/usr/share/elasticsearch/data -v /home/elasticsearch/node-2/log:/usr/share/elasticsearch/log --name es-node-2 elasticsearch:7.6.1

安裝並啓動node-3容器
docker run -e ES_JAVA_OPTS="-Xms512m -Xmx512m" --network es-net -d -p 9202:9202 -p 9302:9302  -v /root/elasticsearch/node-3/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /home/elasticsearch/node-3/plugins:/usr/share/elasticsearch/plugins -v /home/elasticsearch/node-3/data:/usr/share/elasticsearch/data/ -v /home/elasticsearch/node-3/log:/usr/share/elasticsearch/log --name es-node-3 elasticsearch:7.6.1

6、檢測集羣是否的搭建成功

打開瀏覽器，鍵入訪問地址與端口，並加上後綴**_cat/nodes?pretty**

http://111.231.110.177:9200/_cat/nodes?pretty

出現以下圖片即表示搭建成功，帶*的爲master節點

6、設置Kibana掛載目錄

mkdir -p /home/kibana/config

7、創建Kibana的YML文件

vim /home/kibana/config/kibana.yml

8、輸入內容

#Kibana的映射端口
server.port: 5601

#網關地址
server.host: "0.0.0.0"

#Kibana實例對外展示的名稱
server.name: "kibana-111.231.110.177"

#Elasticsearch的集羣地址，也就是說所有的集羣IP
elasticsearch.hosts: ["http://111.231.110.177:9200","http://111.231.110.177:9201","http://111.231.110.177:9202"]

#設置頁面語言，中文使用zh-CN，英文使用en
i18n.locale: "zh-CN"

xpack.monitoring.ui.container.elasticsearch.enabled: true

9、啓動

輸入命令，指定network網絡

docker run -d -p 5601:5601 -v /home/kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml --network es-net  --name kibana kibana:7.6.0

10、登錄驗證

http://111.231.110.177:5601

11、驗證是否連接集羣

在控制檯界面輸命令，即可看到節點存活樹

GET _cat/nodes?v

三、可能遇到的錯誤設置

1、修改/etc/security/limits.conf

文件最後 如果有將值調到如下 如果沒有添加以下內容：

* soft nofile 65536

* hard nofile 131072

或者給用戶配置

dcs_svcas soft nofile 65536

dcs_svcas hard nofile 131072

虛擬內存改爲最大

* soft as -1

* hard as -1

2、根據報錯日誌可以查到 vim /etc/sysctl.conf 文件，添加以下一行

 vm.max_map_count= 262144

 sysctl –p
 3、配置宿主機的 參數，否則無法啓動，會報錯

vim /etc/sysctl.conf
vm.max_map_count=655360
sysctl -p

4、解決root用戶下無法啓動es問題

將root下文件夾 拷貝到opt目錄下

cp -r /root/es_single/ /opt/

創建elsearch用戶組及elsearch用戶：

groupadd elsearch

useradd elsearch -g elsearch

passwd elsearch

設置密碼

更改elasticsearch文件夾及內部文件的所屬用戶及組爲

elsearch:elsearch

cd /opt

chown -R elsearch:elsearch  es_single

切換到elsearch用戶再啓動

su elsearch 

cd /opt/es_single/elasticsearch-7.6.1/bin

./elasticsearch