本篇文章主要介绍使用Spring Boot整合log4j,配合ELK(Elasticsearch , Logstash, Kibana)整合Kafka完成日志收集,应用场景比较多的是分布式项目,这样可以直接收集各个节点的日志到一起,便于错误日志查看和分析业务。
整个流程如下:
使用log4j的appender发送数据到kafka到topic,topic再发送到logstash,然后经过elasticsearch分析处理后到kibana页面做查询展示。
环境准备:
1、安装ELK
2、安装kafka
3、Spring Boot项目demo
简要步骤:
①、修改logj配置文件
②、加入日志打印代码
③、启动项目访问页面
④、使用kafka查看消费者打印
⑤、使用kibana建立日志索引
⑥、使用kibana查询日志、es语法查询
详细步骤:
一、修改logj配置文件
注:本项目demo是基于之前到Spring Boot入门教程的一个整合JPA 和 Thymeleaf示例。
Spring Boot2.0系列教程之 JPA 和 Thymeleaf 实践(五):Spring Boot2.0系列教程之 JPA 和 Thymeleaf 实践(五)
配置文件待更新。
二、加入日志打印代码
待更新。
三、启动项目访问页面
四、使用kafka查看消费者打印
五、使用kibana建立日志索引
已经看到日志
点击创建需要等待
成功后可以看到创建的索引
六、使用kibana查询日志、es语法查询
1、这里选择查询时间段
可以查看到日志
2、 用es语法查询
推荐笔者elk、kafka、Springboot相关博客:
ELK架构体系、ELK运行原理、ELK应用场景、ELK简单介绍(一):https://blog.csdn.net/zjh_746140129/article/details/86483318
Linux安装ELK、elasticsearch部署安装(二):https://blog.csdn.net/zjh_746140129/article/details/86483661
Linux安装ELK、logstash部署安装(三):https://blog.csdn.net/zjh_746140129/article/details/86484586
Linux安装ELK、kibana部署安装(四):https://blog.csdn.net/zjh_746140129/article/details/86484862
ELK启动报错:OpenJDK 64-Bit Server VM warning:https://blog.csdn.net/zjh_746140129/article/details/86601574
ELK常见错误问题、ELK的一些坑、Unable to connect to Elasticsearch at http://localhost:9200:https://blog.csdn.net/zjh_746140129/article/details/86601791
Centons7下安装配置Kafka、Linux下安装配置Kafka:Centons7下安装配置Kafka、Linux下安装配置Kafka
Spring Boot2.0系列教程之 JPA 和 Thymeleaf 实践(五):Spring Boot2.0系列教程之 JPA 和 Thymeleaf 实践(五)