kafka深度研究之路(5)-kafka新版常用命令彙總

小結:
1/列出topic的命令爲:
kafka-topics.sh --zookeeper 10.211.55.11:2181,10.211.55.12:2181,10.211.55.13:2181/kafkagroup --list
2/刪除topic的命令爲:
kafka-topics.sh --delete --zookeeper 10.211.55.11:2181,10.211.55.12:2181,10.211.55.13:2181/kafkagroup --topic topic-majihui
3/創建topic命令如下:
kafka-topics.sh --create --zookeeper 10.211.55.11:2181,10.211.55.12:2181,10.211.55.13:2181/kafkagroup --partitions 30 --replication-factor 3 --topic topic-by-majihui
4/查看topic的詳情 包括 partition和repilce的分配位置
kafka-topics.sh --zookeeper 10.211.55.11:2181,10.211.55.12:2181,10.211.55.13:2181/kafkagroup --describe --topic topic-by-majihui
5/在其中一個broker上創建一個生產者 終端
kafka-console-producer.sh --topic topic-by-majihui --broker-list kafka01-55-11:9092,kafka02-55-12:9092,kafka03-55-13:9092
接下來需要驗證 驗證消息生產成功命令如下:
kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 10.211.55.11:9092 --topic topic-by-majihui --time -1

6/啓動終端的消費者 //總結:–from-beginning參數如果有表示從最開始消費數據,舊的和新的數據都會被消費,而沒有該參數表示只會消費新產生的數據
kafka-console-consumer.sh --bootstrap-server kafka01-55-11:9092,kafka02-55-12:9092,kafka03-55-13:9092 --topic topic-by-majihui --from-beginning
//啓動一個新的消費者 讓他屬於某個消費組 new-consumer-majihui
kafka-console-consumer.sh --bootstrap-server 10.211.55.11:9092 --consumer-property group.id=new-consumer-majihui --consumer-property client.id=new-consumer-cl --topic topic-by-majihui
此時去執行了列出消費者 就會看到:
[hadoop@kafka03-55-13 ~]$ kafka-consumer-groups.sh --bootstrap-server kafka01-55-11:9092,kafka02-55-12:9092,kafka03-55-13:9092 --list
new-consumer-majihui

7/列出消費組 //查看有哪些消費組在消費消息 問題 如何創建一個消費組?
kafka-consumer-groups.sh --bootstrap-server kafka01-55-11:9092,kafka02-55-12:9092,kafka03-55-13:9092 --list
kafka-consumer-groups.sh --bootstrap-server tencent-kafka01-39-110:9092 --list
8/查看某個消費組的消費進度 消費詳情
kafka-consumer-groups.sh --bootstrap-server kafka01-55-11:9092,kafka02-55-12:9092,kafka03-55-13:9092 --describe --group console-consumer-120
//這個 console-consumer-120 是上面這個查看消費組查出來的
9/查看topic某分區偏移量最大(小)值
kafka-run-class.sh kafka.tools.GetOffsetShell --topic topic-by-majihui --time -1 --broker-list kafka01-55-11:9092,kafka02-55-12:9092,kafka03-55-13:9092 --partitions 0
注: time爲-1時表示最大值,time爲-2時表示最小值
10/查看kafka某分區日誌具體內容 index 和 log 文件的具體內容查看
kafka-run-class.sh kafka.tools.DumpLogSegments --files /tmp/kafka-logs/firsttopic-0/00000000000000000000.log --print-data-log > 00000000000000000000.txt0
11/kafka-run-class.sh kafka.tools.DumpLogSegments --files /data/kafka/kafka-logs/topic-by-majihui-9/00000000000000000000.index --print-data-log > 00000000000000000000index.txt
12/平衡leader
kafka-preferred-replica-election.sh --bootstrap-server kafka01-55-11:9092,kafka02-55-12:9092,kafka03-55-13:9092

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章