kafka查詢topic列表,和topic下消息

使用Kafka經常碰到需要查看topic是否創建,或是查看topic下的數據。

最開始想直接找可視化工具進行查看就找到了Kafka tool 然後發現鏈接數據較少的環境確實比較好用,但是如果topic或topic下的數據較多就會直接卡死,導致無法打開。

Kafka tool 的簡單使用

首先去官網下載 Kafka tool :https://www.kafkatool.com/

無腦下一步進行安裝。安裝完成後進行新建鏈接操作

因爲數據在Kafka都是byte所以要配置byte轉string才能更方便的查看

在 tools --> settings --> Topics

然後選中想要查看的topic在properties中配置key和message爲string

然後進入topic下的分區進行查看,點擊綠色查詢按鈕即可查看

如果數據量較少可以使用這個工具進行查看,但是數據太多回直接卡死

使用Kafka命令腳本查看

由於我們公司Kafka是部署在docker中所以需要先進入Kafka容器,然後進入opt/kafka/bin/目錄下,Kafka腳本命令都在這個目錄下

查看kafka topic列表

kafka-topics.sh -list --zookeeper zookeeper地址:端口

從頭開始查看kafka topic下的數據

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_name --from-beginning

按照偏移量查看topic下數據

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_name --offset latest --partition 0

# --offset設置偏移量 latest代表最後 ,可以設置區間,不設置結尾的話默認爲查詢到latest(最後)
# --partition 設置分區 使用偏移量查詢時一定要設置分區才能查詢

清除Kafka topic下所有消息

kafka-topics.sh --zookeeper zookeeper地址:端口 --delete --topic topic_name

刪除所有消息方便從頭開始觀看topic消息記錄

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章