ELK簡述:
ELK: ElasticSearch(數據庫 json存儲 全文索引) + Logstash(日誌採集中心,配置一些正則等分割解析處理日誌)+ Kibarna(圖形化展示)
Logstash做日誌的採集,監聽5044,採集的節點都將數據傳遞到5044上來。
採集的節點叫Beat。(例如File beat等)
logstash處理之後得到json數據,發到ES9200中存儲。然後通過Kibana圖形化展示。
logstash和kibana不是必須的。
實操:搭建一套日誌採集系統
1.下載https://www.elastic.co/cn/downloads
下載後並解壓:
然後按照順序啓動:
因爲Beat需要指定logstash的ip端口、logstash需要指定ES的ip端口、Kibana也要指定ES的服務和端口。
所以先啓動ES、Kibana、logstash、Beat。
1.1啓動ES:
1.2啓動Kibana:
1.3啓動logstatsh:
1.4 驗證:
1.5啓動Beat去採集日誌:(英文註釋很詳細)
先修改配置文件filebeat.yml:
默認輸出到es中,我們這裏需要beat採集經過logstash處理後再給es,:
所以註釋掉這裏的output,開啓logstah的output就行了:
保存後,通過如下指令指定配置文件啓動:
啓動完成後其實它就開始進行採集日誌了。
此時:
然後到Kibana中查看:
第一次進入會先讓我們創建一個index.
日誌的內容在message字段中:
可以展開:
除了文本形式的展示,還可以繪製一些可視化的圖表: