logstash+kafka進行日誌的實時採集

用spring整合kafka的話只支持kafka-2.1.0_0.9.0.0以上版本

kafka配置

查看topic

bin/kafka-topics.sh --list --zookeeper localhost:2181


啓動一個生產者


bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test


開啓一個消費者（2183）


bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning


創建一個主題
bin/kafka-topics.sh --create --zookeeper 10.92.1.177:2183 --replication-factor 1 --partitions 1 --topic test

logstash啓動日誌採集
bin/logstash -f logstash-simple.conf 

filter的重要過濾條件 not in  drop{} --刪除

logstash配置文件:

input{
    kafka {
        codec => "plain"
        group_id => "logstash1"
        auto_offset_reset => "smallest"
        reset_beginning => true
        topic_id => "hello"
        #white_list => ["hello"]
        #black_list => nil
        zk_connect => "192.168.0.5:2181" # zookeeper的地址
   }

}filter {
  if "xml" not in [message] {
           drop {}
  }
  if "success" not in [message]{
          drop {}
  }
}
output{
    stdout{
        codec => rubydebug
    }
}