ELK整合Kafka

本篇文章主要介紹使用ELK（Elasticsearch , Logstash, Kibana）整合Kafka完成日誌收集，應用場景比較多的是分佈式項目，這樣可以直接收集各個節點的日誌到一起，便於查看和做其他業務，下一篇文章介紹整合Spring Boot項目完成日誌收集查看。

環境準備：

安裝好ELK和Kafka

簡要步驟：

①、修改配置文件

②、啓動Kafka、創建topic

③、重啓logstash

 

詳細步驟：

一、修改配置文件

1、進入kafka安裝的機器

cd /etc/logstash/conf.d/

2、修改配置文件 

vim kafka-es.conf

3、注：這裏的boot_demo是kafka的topic名字 ，input是從kafka的topic輸入，output是輸出到logstash的名字

input { 
	kafka{
		bootstrap_servers => ["192.168.234.156:9092"]
		client_id => "test"
		group_id => "test"
		auto_offset_reset => "latest" 
		consumer_threads => 5
		decorate_events => true 
		topics => ["boot_demo"] 
		type => "boot_demo" 
	}

	
}


filter {
  dissect {
    mapping => { "message" => "%{appname} %{node} %{level} %{time} %{+time} %{class} %{msg}" }
  }
}


output {
	
	if [type] == "boot_demo" {
		elasticsearch {
			hosts => ["192.168.234.155:9200"]
			index => "boot_demo-log-%{+YYYY.MM.dd}"
		}
	}
	

	stdout { codec => rubydebug }
}

 

二、啓動Kafka、創建topic

1、進入到kafka目錄啓動

bin/kafka-server-start.sh config/server.properties 

2、創建topic

./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic boot_demo

 

3、查看topic

./kafka-topics.sh --list --zookeeper localhost:2181

 

三、重啓logstash

systemctl restart logstash

 

 

推薦筆者elk、kafka相關博客：

ELK架構體系、ELK運行原理、ELK應用場景、ELK簡單介紹（一）：https://blog.csdn.net/zjh_746140129/article/details/86483318

Linux安裝ELK、elasticsearch部署安裝（二）：https://blog.csdn.net/zjh_746140129/article/details/86483661

Linux安裝ELK、logstash部署安裝（三）：https://blog.csdn.net/zjh_746140129/article/details/86484586

Linux安裝ELK、kibana部署安裝（四）：https://blog.csdn.net/zjh_746140129/article/details/86484862

ELK啓動報錯：OpenJDK 64-Bit Server VM warning：https://blog.csdn.net/zjh_746140129/article/details/86601574

ELK常見錯誤問題、ELK的一些坑、Unable to connect to Elasticsearch at http://localhost:9200：https://blog.csdn.net/zjh_746140129/article/details/86601791

Centons7下安裝配置Kafka、Linux下安裝配置Kafka：Centons7下安裝配置Kafka、Linux下安裝配置Kafka