Spring Boot項目整合ELK、Kafka

本篇文章主要介紹使用Spring Boot整合log4j,配合ELK(Elasticsearch , Logstash, Kibana)整合Kafka完成日誌收集,應用場景比較多的是分佈式項目,這樣可以直接收集各個節點的日誌到一起,便於錯誤日誌查看和分析業務。

整個流程如下:

使用log4j的appender發送數據到kafka到topic,topic再發送到logstash,然後經過elasticsearch分析處理後到kibana頁面做查詢展示。

環境準備:

1、安裝ELK

2、安裝kafka

3、Spring Boot項目demo

簡要步驟:

①、修改logj配置文件

②、加入日誌打印代碼

③、啓動項目訪問頁面

④、使用kafka查看消費者打印

⑤、使用kibana建立日誌索引

⑥、使用kibana查詢日誌、es語法查詢

 

詳細步驟:

一、修改logj配置文件

注:本項目demo是基於之前到Spring Boot入門教程的一個整合JPA 和 Thymeleaf示例。

Spring Boot2.0系列教程之 JPA 和 Thymeleaf 實踐(五):Spring Boot2.0系列教程之 JPA 和 Thymeleaf 實踐(五)

配置文件待更新。

 

二、加入日誌打印代碼

待更新。

 

三、啓動項目訪問頁面

 

四、使用kafka查看消費者打印

 

五、使用kibana建立日誌索引

已經看到日誌 

點擊創建需要等待

成功後可以看到創建的索引

 

六、使用kibana查詢日誌、es語法查詢

1、這裏選擇查詢時間段

可以查看到日誌

 

 

2、 用es語法查詢

 

推薦筆者elk、kafka、Springboot相關博客:

ELK架構體系、ELK運行原理、ELK應用場景、ELK簡單介紹(一):https://blog.csdn.net/zjh_746140129/article/details/86483318

Linux安裝ELK、elasticsearch部署安裝(二):https://blog.csdn.net/zjh_746140129/article/details/86483661

Linux安裝ELK、logstash部署安裝(三):https://blog.csdn.net/zjh_746140129/article/details/86484586

Linux安裝ELK、kibana部署安裝(四):https://blog.csdn.net/zjh_746140129/article/details/86484862

ELK啓動報錯:OpenJDK 64-Bit Server VM warning:https://blog.csdn.net/zjh_746140129/article/details/86601574

ELK常見錯誤問題、ELK的一些坑、Unable to connect to Elasticsearch at http://localhost:9200:https://blog.csdn.net/zjh_746140129/article/details/86601791

Centons7下安裝配置Kafka、Linux下安裝配置Kafka:Centons7下安裝配置Kafka、Linux下安裝配置Kafka

Spring Boot2.0系列教程之 JPA 和 Thymeleaf 實踐(五):Spring Boot2.0系列教程之 JPA 和 Thymeleaf 實踐(五)

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章