小玩kafka之消息重复消费的实验

实验一:开多个consumer终端,是同一个consumer group吗?

./bin/windows/kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

 

开2个终端,显示消费了同样的信息,说明2个consumer属于不同的consumer group

输入group list验证下,存在多个group,每个终端属于不同的group。

--> ./bin/windows/kafka-consumer-groups.bat --list --bootstrap-server localhost:9092
console-consumer-25516
test-consumer-group
console-consumer-89825

如下带上 --group 参数,即指定了2个consumer属于同一group,属于同一group后会发生什么?

$ ./bin/windows/kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning --group test-consumer-group

这一次,只有一个终端在消费消息。

如果关掉了正在消费信息的consumer(相当于此consumer发生了宕机),另一个consumer才开始消费消息

结论:kafka中消息只能被同一consumer-group中的一个consumer消费。

实验二:如何重现重复消费

重复消费,很多时候是和 enable.auto.commit 这个参数相关的

消费消息后,默认会自动提交,这里在consumer.properties文件的末尾,添加2个参数,

max.poll.interval.ms=100000
enable.auto.commit=false

打开2个consumer终端,第1个终端消费完成后,shutdown,第2个终端居然又消费了一次,造成了重复消费。

--> cd config

--> ../bin/windows/kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning --consumer.config consumer.properties

此时,需要手动commit,才可以不再重复消费。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章