之前增加了多臺服務器的日誌採集,而且包含apache的訪問日誌和錯誤日誌,導致日誌量過大,ELK服務出現異常。
首先是訪問kibana出現錯誤:
顯示錯誤信息爲:
Elasticsearch is still initializing the kibana index.
百度了一下,是因爲kibana的索引過大,需要刪除kibana的索引:
curl -XDELETE http://localhost:9200/.kibana
這裏是刪除了kibana的索引
刪除之後,服務啓動後就會沒有索引了,需要重建:filebeat-*
這裏只是刪除索引,之前的數據都還有。
但是,刪除之後仍然報錯,Elasticsearch還是錯誤的,所以查看Elasticsearch的日誌,發現大量的Out of Memeory 錯誤信息:
因爲之前是保持默認的配置,需要修改JVM的內存配置。
ELK 5.0之後的配置方式跟以前都不一樣了,修改配置文件:
vim /usr/local/elasticsearch/config/jvm.options
-Xms8g -Xmx8g
默認是2g,配置原則爲可用內存的一般即可,至於爲什麼是一半這個網上有詳細的說明文檔。
我的服務器是16G內存,所以配置爲8G內存。