今天使用docker安裝elasticsearch最新版本7.6.0的集羣環境.遇到了好多坑,最終完成搭建先整理安裝步驟
1.先從docker hub下pull最新的es鏡像
2.創建數據掛在目錄,配置ElasticSearch集羣配置文件，調高JVM線程數限制數量
下面以一臺節點爲例,其他的節點一樣的步驟修改配置即可
調高JVM線程數限制數量
vim /etc/sysctl.conf
添加vm.max_map_count=262144
執行sysctl -p 使之生效
不然會報錯
bootstrap checks failed max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]
創建掛載目錄
mkdir -p /home/es/config
mkdir -p /home/es/data
配置集羣配置文件
進入config目錄下 創建es.yml文件,具體內容如下(各字段含義後面會講解)
cluster.name : elasticsearch-cluster
node.name : es-node0
network.bind_host : 0.0.0.0
network.publish_host : 192.168.3.82
http.port : 9200
transport.tcp.port : 9300
http.cors.enabled : true
http.cors.allow-origin : "*"
node.master : true
node.data : true
discovery.zen.ping.unicast.hosts : ["192.168.3.81:9300","192.168.3.82:9300","192.168.3.83:9300"]
discovery.zen.minimum_master_nodes : 1
cluster.initial_master_nodes : es-node0
這裏要強調 cluster.initial_master_nodes : es-node0 一定要指定,不然最後集羣配好了 會報找不到master的錯誤
配置好了以後需要授權
這裏也很重要不然會一直報錯 java.nio.file.AccessDeniedException
chmod 777 -R /home/es/
關於docker掛載
我在這裏卡了很久,雖然上面已經給目錄授權了,但是依然data目錄掛載時會報java.nio.file.AccessDeniedException 無法掛載data目錄
後來試驗了好多次才發現和docker掛載文件有關
具體原因是掛載宿主機已存在目錄後，在容器內對其進行操作，報“Permission denied”。
方法1:關閉SELinux 這種臨時關閉每次啓動容器都需要設置,永久關閉又會存在安全漏洞雖然可以掛載成功,但是不推薦
setenforce 0
方法2:以特權方式啓動容器 指定--privileged參數
例如: docker run -it --privileged=true -v /test:/soft centos /bin/bash
這裏我最終選擇第二種
3.啓動容器
docker run --privileged=true -e ES_JAVA_OPTS="-Xms256m -Xmx256m" -d -p 9200:9200 -p 9300:9300 -v /home/es/config/es.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /home/es/data:/usr/share/elasticsearch/data --name es elasticsearch:7.6.0
4.驗證
瀏覽器訪問http://192.168.3.82:9200/_cat/nodes?pretty
如果出現這種情況,沒有發現另外兩個節點就檢查cluster_uuid,如果有不一致的就刪除掛載目錄data下的內容即可
5.配置文件
1.查看容器內存
docker stats $(docker ps --format={{.Names}})
2.查看容器日誌
docker logs 容器名/容器ID
3.ElasticSearch配置文件說明
cluster.name：用於唯一標識一個集羣，不同的集羣，其 cluster.name 不同，集羣名字相同的所有節點自動組成一個集羣。如果不配置改屬性，默認值是：elasticsearch。
node.name：節點名，默認隨機指定一個name列表中名字。集羣中node名字不能重複
index.number_of_shards: 默認的配置是把索引分爲5個分片
index.number_of_replicas:設置每個index的默認的冗餘備份的分片數，默認是1
通過 index.number_of_shards，index.number_of_replicas默認設置索引將分爲5個分片，每個分片1個副本，共10個結點。
禁用索引的分佈式特性，使索引只創建在本地主機上：
index.number_of_shards: 1
index.number_of_replicas: 0
但隨着版本的升級 將不在配置文件中配置而是啓動ES後，再進行配置
bootstrap.memory_lock: true 當JVM做分頁切換（swapping）時，ElasticSearch執行的效率會降低，推薦把ES_MIN_MEM和ES_MAX_MEM兩個環境變量設置成同一個值，並且保證機器有足夠的物理內存分配給ES，同時允許ElasticSearch進程鎖住內存
network.bind_host: 設置可以訪問的ip,可以是ipv4或ipv6的，默認爲0.0.0.0，這裏全部設置通過
network.publish_host:設置其它結點和該結點交互的ip地址，如果不設置它會自動判斷，值必須是個真實的ip地址
同時設置bind_host和publish_host兩個參數可以替換成network.host
network.bind_host: 192.168.9.219
network.publish_host: 192.168.9.219
=>network.host: 192.168.9.219
http.port:設置對外服務的http端口，默認爲9200
transport.tcp.port: 設置節點之間交互的tcp端口，默認是9300
http.cors.enabled: 是否允許跨域REST請求
http.cors.allow-origin: 允許 REST 請求來自何處
node.master: true 配置該結點有資格被選舉爲主結點（候選主結點），用於處理請求和管理集羣。如果結點沒有資格成爲主結點，那麼該結點永遠不可能成爲主結點；如果結點有資格成爲主結點，只有在被其他候選主結點認可和被選舉爲主結點之後，才真正成爲主結點。
node.data: true 配置該結點是數據結點，用於保存數據，執行數據相關的操作（CRUD，Aggregation）；
discovery.zen.minimum_master_nodes: //自動發現master節點的最小數，如果這個集羣中配置進來的master節點少於這個數目，es的日誌會一直報master節點數目不足。（默認爲1）爲了避免腦裂，個數請遵從該公式 => (totalnumber of master-eligible nodes / 2 + 1)。 * 腦裂是指在主備切換時，由於切換不徹底或其他原因，導致客戶端和Slave誤以爲出現兩個active master，最終使得整個集羣處於混亂狀態*
discovery.zen.ping.unicast.hosts： 集羣個節點IP地址，也可以使用es-node等名稱，需要各節點能夠解析