使用Kafka經常碰到需要查看topic是否創建,或是查看topic下的數據。
最開始想直接找可視化工具進行查看就找到了Kafka tool 然後發現鏈接數據較少的環境確實比較好用,但是如果topic或topic下的數據較多就會直接卡死,導致無法打開。
Kafka tool 的簡單使用
首先去官網下載 Kafka tool :https://www.kafkatool.com/
無腦下一步進行安裝。安裝完成後進行新建鏈接操作
因爲數據在Kafka都是byte所以要配置byte轉string才能更方便的查看
在 tools --> settings --> Topics
然後選中想要查看的topic在properties中配置key和message爲string
然後進入topic下的分區進行查看,點擊綠色查詢按鈕即可查看
如果數據量較少可以使用這個工具進行查看,但是數據太多回直接卡死
使用Kafka命令腳本查看
由於我們公司Kafka是部署在docker中所以需要先進入Kafka容器,然後進入opt/kafka/bin/目錄下,Kafka腳本命令都在這個目錄下
查看kafka topic列表
kafka-topics.sh -list --zookeeper zookeeper地址:端口
從頭開始查看kafka topic下的數據
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_name --from-beginning
按照偏移量查看topic下數據
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_name --offset latest --partition 0
# --offset設置偏移量 latest代表最後 ,可以設置區間,不設置結尾的話默認爲查詢到latest(最後)
# --partition 設置分區 使用偏移量查詢時一定要設置分區才能查詢
清除Kafka topic下所有消息
kafka-topics.sh --zookeeper zookeeper地址:端口 --delete --topic topic_name
刪除所有消息方便從頭開始觀看topic消息記錄