flume消費kafka消息的offset查看方法

kafka版本1.0.1

flume版本1.8.0

 

offset已經不在zookeeper存儲了,存儲在__consumer_offsets這個topic裏面,具體哪個consumer group存儲在這個topic的哪個partition裏面通過下面計算方法確定:

public class HelloWorld {

public static void main(String[] args) {

String s2=new String("consumer_flume_kafka_topic_test");

System.out.println(Math.abs(s2.hashCode())%50);

}

}

 

確定好了partition id之後就可以用下面命令查看信息了:

./kafka-simple-consumer-shell.sh --topic __consumer_offsets --partition 48 --broker-list youBrokerListAddress --formatter "kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter"

 

 

    有問題加QQ羣:877769335

    或者用QQ掃描二維碼加羣:

    

 

 

 

 

 

 

 

 

 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章