kafka无法消费文件查询

小G今天做项目的时候,遇到测试环境无法消费消息问题,具体查询如下:
名词:group.id :消费组,项目目前都是多集群搭建,防止多台机子消费导致数据错误,幂等
环境kafka环境介绍,
kafka +zookeeper,zooker负责消费
首先进入kafka的bin目录,

cd /usr/local/kafka/bin

查询消费是否被消费,查询消费列命令

./kafka-consumer-groups.sh --describe --group 消费组(group.id)--zookeeper zookeeper的ip
PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID
topic名字    分区id    当前已消费的条数    总条数    未消费的条数    消费id    主机ip    客户端id

查看下LAG看看有多少未消费数,如果有没有未消费的说明,有多人在使用消费组,可以重新换个消费组试试,如果有未消费,可以根据下面的命令进行模拟

然后模拟下消费者看看是否可以消费

./kafka-consumer-groups.sh --describe --group 消费组 (group.id) --zookeeper zookeeper的ip
bin/kafka-console-consumer.sh -zookeeper zookeeper的ip:2181 --from-beginning --topic 主题topic

如果消费正常
然后模拟下生产者:


```powershell
> bin/kafka-console-producer.sh  --broker-list kafka的ip:9092 --topic  主题的名称topic

如果都是正常的就是,
1、怀疑:代码有问题,如果可以本地代码调试根据上面的模拟命令
2、端口的问题:telnet测试下ip端口是否连通
3、查看下是否都运行正常代码跟项目是否链接正常

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章