elasticsearch入門到放棄之docker搭建

基於docker構建的代碼地址:https://github.com/zhaoyunxing92/docker-case/tree/develop/elasticsearch 可以直接使用,我下面也是按照這個寫的這個文檔

爲什麼從搭建開始

在我的觀念裏elasticsearch是大數據的產物,所有很牴觸只是作爲邊緣技術沒有用心學過,但是上週五我的組員在它跟springboot整合的時候出現了問題.我就想在本地搭建一套集羣還原他的問題,前後大概消耗了兩天時間,於是我就想寫出來以免後人再入我的坑,

單機版

docker-compose.yml

version: '3'
services:
  # elasticsearch
  elasticsearch:
    image: elasticsearch:6.5.4
    container_name: elasticsearch # docker啓動後的名稱
    privileged: true
    # restart: always  #出現異常自動重啓
    ports:
      - 9200:9200
      - 9300:9300
    environment:
      cluster.name: elasticsearch  # es 名稱

可以指定config文件運行,在下面集羣裏面我會寫出來

docker運行

# --restart=always 可以根據個人所需添加
docker run -d --name elk -p 9200:9200 -p 9300:9300 --restart=always elasticsearch:6.5.4

docker-compose運行

docker-compose -f docker-compose.yml up -d

到這裏單機版就很簡單的結束了,我一起搭建skywalking的時候也就單機版運行結束了

集羣版

這個是花費我時間最長的,主要是我對docker的網絡架構一知半解導致的

es-cluster.yml配置

# 集羣配置 僞集羣
version: '3'
services:
  es1:
    image: elasticsearch:6.5.4
    container_name: es1 # docker啓動後的名稱
    network_mode: host # 公用主機的網絡
    environment:
       #cluster.name: "elasticsearch"  # es 名稱config配置了這裏就不用重複了
       ES_JAVA_OPTS: "-Xms512m -Xmx512m"  # 自定內存
    volumes:
      - /data/es/es1/data:/usr/share/elasticsearch/data
      - /data/es/es1/logs:/usr/share/elasticsearch/logs
      - ./config/es1/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
  es2:
    image: elasticsearch:6.5.4
    container_name: es2 # docker啓動後的名稱
    network_mode: host
    environment:
       #cluster.name: "elasticsearch"  # es 名稱config配置了這裏就不用重複了
       ES_JAVA_OPTS: "-Xms512m -Xmx512m"  # 自定內存
    volumes:
      - /data/es/es2/data:/usr/share/elasticsearch/data
      - /data/es/es2/logs:/usr/share/elasticsearch/logs
      - ./config/es2/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
  es3:
    image: elasticsearch:6.5.4
    container_name: es3 # docker啓動後的名稱
    network_mode: host
    environment:
       #cluster.name: "elasticsearch"  # es 名稱config配置了這裏就不用重複了
       ES_JAVA_OPTS: "-Xms512m -Xmx512m"  # 自定內存
    volumes:
      - /data/es/es3/data:/usr/share/elasticsearch/data
      - /data/es/es3/logs:/usr/share/elasticsearch/logs
      - ./config/es3/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml

• network_mode: host 這個很重要表示這三組都使用宿主機的網絡,感興趣的可以瞭解下docker的網絡模式
• container_name: es3 docker啓動後的名稱
• volumes下面配置都是目錄掛載,值得注意的是你要關注下他們的權限,掛載的data目錄必須是空的不然集羣也會不成功
• ES_JAVA_OPTS 指定jvm運行內存

master elasticsearch.yml配置

cluster.name: elastic  # 集羣必須一樣
node.name: node-data-1 # 節點名稱必須不一樣
node.master: true  # 表示主節點
node.data: true
http.port: 9201
transport.tcp.port: 9301
#network.bind_host: 0.0.0.0
network.host: 0.0.0.0
# 設置集羣自動發現服務id集合
discovery.zen.ping.unicast.hosts: ["127.0.0.1:9301","127.0.0.1:9302","127.0.0.1:9303"]
discovery.zen.minimum_master_nodes: 1

# heald 插件使用
http.cors.enabled: true
http.cors.allow-origin: "*"
http.cors.allow-headers: Authorization,X-Requested-With,Content-Length,Content-Type
# 開啓密碼認證 xpack
xpack.security.enabled: true

• cluster.name 集羣的名稱必須一致
• node.name 節點名稱必須不一樣
• node.master 是否主節點
• http.port http端口 這兩個端口也是坑的地方,後面在跟springboot整合的時候我再說
• transport.tcp.port tcp端口
• discovery.zen.ping.unicast.hosts 集羣的ip數據同步是通過tcp端口進行的

slave elasticsearch.yml配置

slave跟master的配置基本一致主要是node.master: false其他都一樣,這裏就不寫了,你可以去看我github上的配置(elasticsearch/config/es2/elasticsearch.yml)

docker-compose啓動

# -f 指定yml文件運行
docker-compose -f es-cluster.yml up -d

到這裏集羣版的也算是完成了

可能遇到的問題

• 掛載容器內部目錄到物理機上出現 [0.001s][error][logging] Error opening log file 'logs/gc.log': Permission denied

  這個是權限問題

  # 給目錄775權限
  sudo chmod -R 775 /data/es/
  # 修改文件歸屬者
  sudo chown -R 1000:1000 /data/es/
  

• java.lang.RuntimeException: can not run elasticsearch as root

  es禁止root用戶直接運行,切換用戶就可以了,不過用docker好像沒有出現

• max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

  jvm 內存不夠需要修改系統jvm內存

   vim /etc/sysctl.conf
   # 追加配置
   vm.max_map_count=655300
  

  修改完後執行: sudo sysctl -p可以執行:more /proc/sys/vm/max_map_count驗證下是否修改成功

• failed to read [id:1, file:/usr/share/elasticsearch/data/nodes/0/_state/node-1.st]

  掛載的宿主目錄文件加不是空導致,清空即可

• java.lang.OutOfMemoryError: Java heap space (oom和gc等這類問題我電腦無法還原就弄這個oom說明問題吧)

  jvm內存設置的小了修改 ES_JAVA_OPTS參數即可

• docker啓動了但是不能正常訪問或者只能本地訪問,另外在用網段的電腦不能訪問

  這個主要是docker網絡模式的問題network_mode: host設置上就可以了,你也可以通過docker inspect 容器id 查看docker幫我們綁定的ip

最後

如果你想了解更多的文章可以微信搜索zhaoyx92,或者掃碼關注.別抱有太高期望,更新很慢的