Spring Boot项目整合ELK、Kafka

本篇文章主要介绍使用Spring Boot整合log4j,配合ELK(Elasticsearch , Logstash, Kibana)整合Kafka完成日志收集,应用场景比较多的是分布式项目,这样可以直接收集各个节点的日志到一起,便于错误日志查看和分析业务。

整个流程如下:

使用log4j的appender发送数据到kafka到topic,topic再发送到logstash,然后经过elasticsearch分析处理后到kibana页面做查询展示。

环境准备:

1、安装ELK

2、安装kafka

3、Spring Boot项目demo

简要步骤:

①、修改logj配置文件

②、加入日志打印代码

③、启动项目访问页面

④、使用kafka查看消费者打印

⑤、使用kibana建立日志索引

⑥、使用kibana查询日志、es语法查询

 

详细步骤:

一、修改logj配置文件

注:本项目demo是基于之前到Spring Boot入门教程的一个整合JPA 和 Thymeleaf示例。

Spring Boot2.0系列教程之 JPA 和 Thymeleaf 实践(五):Spring Boot2.0系列教程之 JPA 和 Thymeleaf 实践(五)

配置文件待更新。

 

二、加入日志打印代码

待更新。

 

三、启动项目访问页面

 

四、使用kafka查看消费者打印

 

五、使用kibana建立日志索引

已经看到日志 

点击创建需要等待

成功后可以看到创建的索引

 

六、使用kibana查询日志、es语法查询

1、这里选择查询时间段

可以查看到日志

 

 

2、 用es语法查询

 

推荐笔者elk、kafka、Springboot相关博客:

ELK架构体系、ELK运行原理、ELK应用场景、ELK简单介绍(一):https://blog.csdn.net/zjh_746140129/article/details/86483318

Linux安装ELK、elasticsearch部署安装(二):https://blog.csdn.net/zjh_746140129/article/details/86483661

Linux安装ELK、logstash部署安装(三):https://blog.csdn.net/zjh_746140129/article/details/86484586

Linux安装ELK、kibana部署安装(四):https://blog.csdn.net/zjh_746140129/article/details/86484862

ELK启动报错:OpenJDK 64-Bit Server VM warning:https://blog.csdn.net/zjh_746140129/article/details/86601574

ELK常见错误问题、ELK的一些坑、Unable to connect to Elasticsearch at http://localhost:9200:https://blog.csdn.net/zjh_746140129/article/details/86601791

Centons7下安装配置Kafka、Linux下安装配置Kafka:Centons7下安装配置Kafka、Linux下安装配置Kafka

Spring Boot2.0系列教程之 JPA 和 Thymeleaf 实践(五):Spring Boot2.0系列教程之 JPA 和 Thymeleaf 实践(五)

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章