日誌採集系統ELK

ELK簡述:

ELK: ElasticSearch(數據庫 json存儲 全文索引) + Logstash(日誌採集中心,配置一些正則等分割解析處理日誌)+ Kibarna(圖形化展示)

 

Logstash做日誌的採集,監聽5044,採集的節點都將數據傳遞到5044上來。

採集的節點叫Beat。(例如File beat等)

logstash處理之後得到json數據,發到ES9200中存儲。然後通過Kibana圖形化展示。

logstash和kibana不是必須的。


實操:搭建一套日誌採集系統

1.下載https://www.elastic.co/cn/downloads

下載後並解壓:

然後按照順序啓動:

因爲Beat需要指定logstash的ip端口、logstash需要指定ES的ip端口、Kibana也要指定ES的服務和端口。

所以先啓動ES、Kibana、logstash、Beat。

1.1啓動ES:

1.2啓動Kibana:

1.3啓動logstatsh:

1.4 驗證:

 

1.5啓動Beat去採集日誌:(英文註釋很詳細)

先修改配置文件filebeat.yml:

默認輸出到es中,我們這裏需要beat採集經過logstash處理後再給es,:

所以註釋掉這裏的output,開啓logstah的output就行了:

保存後,通過如下指令指定配置文件啓動:

啓動完成後其實它就開始進行採集日誌了。

此時:

然後到Kibana中查看:

第一次進入會先讓我們創建一個index.

日誌的內容在message字段中:

可以展開: 

除了文本形式的展示,還可以繪製一些可視化的圖表:

 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章