Filebeat+ELK搭建日誌實時分析系統

java服務日誌框架使用的是logback,filebeat只fetch級別爲WARN和ERROR的記錄.

### Filebeat

    一個輕量級開源日誌文件數據蒐集器,Filebeat 讀取文件內容,發送到 Logstash 進行解析後進入 Elasticsearch,或直接發送到 Elasticsearch 進行集中式存儲和分析。


### Logstash

    日誌收集器。支持多種數據源輸入(如java應用,filebeat,數據庫等),並對數據進行過濾、分析、格式化等操作,然後存儲到 Elasticsearch。

    使用Filebeat作爲Logstash的輸入,Logstash默認配置監聽了5044端口,可以從Filebeat的配置output.logstash.hosts=["172.20.66.154:5044"]看出來。同時Filebeat的輸出作爲Logstash的輸入,如下圖配置 input.beats.port = 5044代表Logstash監聽5044端口並接受來自filebeat的輸入。

        

### Elasticsearch

    分佈式搜索和分析引擎。基於 Apache Lucene 構建,能對大容量的數據進行接近實時的存儲、搜索和分析操作。

### Kibana  

    數據分析和可視化平臺。與 Elasticsearch 配合使用,對其中數據進行搜索、分析、圖表展示。下圖是我對公司測試環境下微服務進行監控的圖表結果。Kibana支持靈活的展現方式,各種圖表類型,這裏不做說明。


### 常用命令

    - 殺進程:ps -ef |grep filebeat

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章