ELK整合Kafka

本篇文章主要介绍使用ELK（Elasticsearch , Logstash, Kibana）整合Kafka完成日志收集，应用场景比较多的是分布式项目，这样可以直接收集各个节点的日志到一起，便于查看和做其他业务，下一篇文章介绍整合Spring Boot项目完成日志收集查看。

环境准备：

安装好ELK和Kafka

简要步骤：

①、修改配置文件

②、启动Kafka、创建topic

③、重启logstash

 

详细步骤：

一、修改配置文件

1、进入kafka安装的机器

cd /etc/logstash/conf.d/

2、修改配置文件 

vim kafka-es.conf

3、注：这里的boot_demo是kafka的topic名字 ，input是从kafka的topic输入，output是输出到logstash的名字

input { 
	kafka{
		bootstrap_servers => ["192.168.234.156:9092"]
		client_id => "test"
		group_id => "test"
		auto_offset_reset => "latest" 
		consumer_threads => 5
		decorate_events => true 
		topics => ["boot_demo"] 
		type => "boot_demo" 
	}

	
}


filter {
  dissect {
    mapping => { "message" => "%{appname} %{node} %{level} %{time} %{+time} %{class} %{msg}" }
  }
}


output {
	
	if [type] == "boot_demo" {
		elasticsearch {
			hosts => ["192.168.234.155:9200"]
			index => "boot_demo-log-%{+YYYY.MM.dd}"
		}
	}
	

	stdout { codec => rubydebug }
}

 

二、启动Kafka、创建topic

1、进入到kafka目录启动

bin/kafka-server-start.sh config/server.properties 

2、创建topic

./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic boot_demo

 

3、查看topic

./kafka-topics.sh --list --zookeeper localhost:2181

 

三、重启logstash

systemctl restart logstash

 

 

推荐笔者elk、kafka相关博客：

ELK架构体系、ELK运行原理、ELK应用场景、ELK简单介绍（一）：https://blog.csdn.net/zjh_746140129/article/details/86483318

Linux安装ELK、elasticsearch部署安装（二）：https://blog.csdn.net/zjh_746140129/article/details/86483661

Linux安装ELK、logstash部署安装（三）：https://blog.csdn.net/zjh_746140129/article/details/86484586

Linux安装ELK、kibana部署安装（四）：https://blog.csdn.net/zjh_746140129/article/details/86484862

ELK启动报错：OpenJDK 64-Bit Server VM warning：https://blog.csdn.net/zjh_746140129/article/details/86601574

ELK常见错误问题、ELK的一些坑、Unable to connect to Elasticsearch at http://localhost:9200：https://blog.csdn.net/zjh_746140129/article/details/86601791

Centons7下安装配置Kafka、Linux下安装配置Kafka：Centons7下安装配置Kafka、Linux下安装配置Kafka