Elasticsearch、Logstash 、kibana安裝配置

國內鏡像 -提高下載速度

https://mirrors.huaweicloud.com/elasticsearch/6.8.5/
https://mirrors.huaweicloud.com/kibana/6.8.5/

Elasticsearch安裝配置

安裝好JDK,配置好環境變量
解壓 得到文件夾 elasticsearch-7.6.2

tar -zxvf elasticsearch-7.6.2-linux-x86_64.tar.gz  

解壓 得到文件夾 logstash-7.6.2

  tar -zxvf logstash-7.6.2.tar.gz 

創建es用戶組

 groupadd esgroup

創建es用戶組下的用戶並配置密碼

 useradd esuser -g esgroup -p 123456 

給es 目錄賦予用戶所有權

 chown -R esuser:esgroup ./elasticsearch-7.6.2

切換用戶

su esuser

切換到es配置文件目錄

cd ./elasticsearch-7.6.2/config

編輯es配置文件 加入以下參數
vi elasticsearch.yml

cluster.name: es_cluster  #打開設定es羣集名稱
node.name: node-1      #es當前節點名稱,用於區分不同節點
path.data: /home/app/elasticsearch-7.6.2/data/es-data    #修改數據目錄,此目錄爲自定義,需要在root用戶下創建,且屬主屬組更改爲es用戶和用戶組 這個根據股具體情況處理
path.logs: /home/app/elasticsearch-7.6.2/logs/elasticsearch  #日誌目錄位置,需自己創建,方式同上
bootstrap.memory_lock: true  #elasticsearch官網建議生產環境需要設置bootstrap.memory_lock: true
network.host: 0.0.0.0  #監聽訪問地址爲任意網段
http.port: 9200  #服務監聽端口
cluster.initial_master_nodes: ["node-1"] #保留一個節點

自定義目錄需要切換目錄權限

sudo mkdir -p /home/app/elasticsearch-7.6.2/data/es-data
sudo mkdir -p /home/app/elasticsearch-7.6.2/logs/elasticsearch
sudo chown -R esuser:esgroup /data/
sudo chown -R esuser:esgroup /home/app/elasticsearch-7.6.2/logs/elasticsearch

啓動es ,出現4個ERROR

./elasticsearch

在這裏插入圖片描述

錯誤 1 : 是ES可以創建的文件描述個數太少,最少是65535,錯誤2中這個問題已經解決;
錯誤 2 :官網的解釋 是:發生系統swapping的時候ES節點的性能會非常差,也會影響節點的穩定性。所以要不惜一切代價來避免swapping。swapping會導致Java GC的週期延遲從毫秒級惡化到分鐘,更嚴重的是會引起節點響應延遲甚至脫離集羣。
所以最好限制住elasticsearch佔用的內存情況,可選少用swap
錯誤內容:
開啓bootstrap.memory_lock: true後,在Elasticsearch集羣啓動的時候,會報如下錯誤
ERROR: bootstrap checks failed memory locking requested for elasticsearch process but memory is not locked

解決方式:
參見博客 https://www.cnblogs.com/hellxz/p/11009634.html

拷貝一份覺得合理的 並嘗試
切換到root 用戶
打開 vi /etc/security/limits.conf

添加以下內容到文件中

* soft nofile 65536
* hard nofile 131072
esuser soft memlock unlimited
esuser hard memlock unlimited

–這裏的*代表的是所有用戶名稱,可以更換爲指定用戶名
另:這裏有個坑就是如果/etc/security/limits.d文件夾下的有配置文件,那麼會覆蓋剛纔修改的文件,所以請確保該目錄沒有其它文件,如有請聯繫運維人員確認刪除

修改 /etc/sysctl.conf,直接執行命令

sudo echo "vm.swappiness=0" >> /etc/sysctl.conf
sudo echo "vm.max_map_count=655360" >> /etc/sysctl.conf
sysctl -p

vm.swappiness=0 這個參數的作用是告訴Linux內核盡少的使用swap分區,不等於禁用swap,通過少使用swap來提高性能。
如果想立即生效而不是重啓之後讓sysctl.conf生效,請使用sysctl -p;
否則需要重新登錄或重啓服務器方可生效。

錯誤 3 :是虛擬內存太少,至少是262144 ,錯誤2中這個問題已經解決
錯誤 4 : 集羣配置問題,已經修改之前的配置內容,添加了此處問題,但是標記了此處問題(第8步),修改elasticsearch.yml 取消註釋保留一個節點
cluster.initial_master_nodes: [“node-1”]

這個的話,這裏的node-1是上面一個默認的記得打開就可以了
以上如果已經出錯,再次啓動不要使用出錯的那個session窗口
es 後臺啓動命令

./elasticsearch -d

logstash 安裝配置

進入logstash 配置目錄

cd /logstash-7.6.2/config

複製一份 logstash-sample.conf 文件 並重命名logstash.conf

cp logstash-sample.conf logstash.conf

修改logstash.conf 文件

vi logstash.conf
# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.

input {
  tcp {
        host =>"192.168.2.226"
        port => 4560
        codec => "json"
    }
}

output {
  elasticsearch {
  	action => "index"
  	hosts => ["192.168.2.226:9200"]
  	index => "winy-portal"
  }

}

  1. 進入bin目錄,啓動logstash
 ./logstash -f /home/app/logstash-7.6.2/config/logstash.conf 

後臺啓動命令

nohup ./logstash -f  /home/app/logstash-7.6.2/config/logstash.conf &

查看日誌查看nohup.out文件
kibana配置
1.自動連接本機的es,默認端口5601,需要修改kibana.yml

server.host: "192.168.2.226"

查看日誌並啓動

nohup ../bin/kibana &

2.kibana默認不能使用root啓動,如果圖省事的話需要加上–allow-root

nohup ../bin/kibana --allow-root  &
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章