文章目錄
1. 數據命令
1.1 啓動kafka服務
-
zookeeper：主要設置clientPort（使用kafka自帶的zookeeper）
bin/zookeeper-server-start.sh config/zookeeper.properties bin/zookeeper-server-start.sh config/zookeeper.properties -
start kafka server:
bin/kafka-server-start.sh config/server.properties bin/kafka-server-start.sh config/server.properties
zookeeper.connect:zookeeper連接設置ip:port
broker.id:啓動kafka的broker的id
1.2 創建topic
bin/kafka-topics.sh --create --zookeeper HOST:2181 --replication-factor 1 --partitions 1 --topic TOPIC
1.3 向topic中發送數據
bin/kafka-console-producer.sh --broker-list HOST:9092 --topic TOPIC
1.4 開啓一個消費端
bin/kafka-console-consumer.sh --bootstrap-server HOST:9092 --topic TOPIC --from-beginning
2. check命令
2.1 查看kafka topic列表
使用–list參數
bin/kafka-topics.sh --zookeeper host:2181 --list
2.2 查看kafka特定topic的詳情
使用–topic與–describe參數
bin/kafka-topics.sh --zookeeper host:2181 --topic your_topic --describe
2.3 查看consumer group列表
使用–list參數
查看consumer group列表有新、舊兩種命令，分別查看新版(信息保存在broker中)consumer列表和老版(信息保存在zookeeper中)consumer列表，因而需要區分指定bootstrap–server和zookeeper參數：
bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server host:9092 --list
bin/kafka-consumer-groups.sh --zookeeper host:2181 --list
2.4 查看特定consumer group 詳情
使用–group與–describe參數
同樣根據新/舊版本的consumer，分別指定bootstrap-server與zookeeper參數:
bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server HOST:9292 --group YOUR_GROUP_ID --describe
bin/kafka-consumer-groups.sh --zookeeper HOST:2181 --group YOUR_GROUP_ID --describe
2.5 查看指定topic上每個partition的offset
是用於查看指定topic上相應分區的消息數，並不是consumer消費的偏移量
bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list host:9092 --topic topic