本篇文章主要介紹使用Spring Boot整合log4j,配合ELK(Elasticsearch , Logstash, Kibana)整合Kafka完成日誌收集,應用場景比較多的是分佈式項目,這樣可以直接收集各個節點的日誌到一起,便於錯誤日誌查看和分析業務。
整個流程如下:
使用log4j的appender發送數據到kafka到topic,topic再發送到logstash,然後經過elasticsearch分析處理後到kibana頁面做查詢展示。
環境準備:
1、安裝ELK
2、安裝kafka
3、Spring Boot項目demo
簡要步驟:
①、修改logj配置文件
②、加入日誌打印代碼
③、啓動項目訪問頁面
④、使用kafka查看消費者打印
⑤、使用kibana建立日誌索引
⑥、使用kibana查詢日誌、es語法查詢
詳細步驟:
一、修改logj配置文件
注:本項目demo是基於之前到Spring Boot入門教程的一個整合JPA 和 Thymeleaf示例。
Spring Boot2.0系列教程之 JPA 和 Thymeleaf 實踐(五):Spring Boot2.0系列教程之 JPA 和 Thymeleaf 實踐(五)
配置文件待更新。
二、加入日誌打印代碼
待更新。
三、啓動項目訪問頁面
四、使用kafka查看消費者打印
五、使用kibana建立日誌索引
已經看到日誌
點擊創建需要等待
成功後可以看到創建的索引
六、使用kibana查詢日誌、es語法查詢
1、這裏選擇查詢時間段
可以查看到日誌
2、 用es語法查詢
推薦筆者elk、kafka、Springboot相關博客:
ELK架構體系、ELK運行原理、ELK應用場景、ELK簡單介紹(一):https://blog.csdn.net/zjh_746140129/article/details/86483318
Linux安裝ELK、elasticsearch部署安裝(二):https://blog.csdn.net/zjh_746140129/article/details/86483661
Linux安裝ELK、logstash部署安裝(三):https://blog.csdn.net/zjh_746140129/article/details/86484586
Linux安裝ELK、kibana部署安裝(四):https://blog.csdn.net/zjh_746140129/article/details/86484862
ELK啓動報錯:OpenJDK 64-Bit Server VM warning:https://blog.csdn.net/zjh_746140129/article/details/86601574
ELK常見錯誤問題、ELK的一些坑、Unable to connect to Elasticsearch at http://localhost:9200:https://blog.csdn.net/zjh_746140129/article/details/86601791
Centons7下安裝配置Kafka、Linux下安裝配置Kafka:Centons7下安裝配置Kafka、Linux下安裝配置Kafka
Spring Boot2.0系列教程之 JPA 和 Thymeleaf 實踐(五):Spring Boot2.0系列教程之 JPA 和 Thymeleaf 實踐(五)