【kafka】Kafka集羣的基本操作

目錄

創建topic（主題）

查看topic（主題）命令

生產者（producer）生產數據

消費者（consumer）消費數據

查看topic的相關信息

增加topic分區數

刪除topic

添加配置

刪除配置

---

• 創建topic（主題）

創建一個名字爲test的主題， 有三個分區，有兩個副本

cd /export/servers/kafka_2.11-1.0.0/bin
./kafka-topics.sh --create --zookeeper node01:2181,node02:2181,node03:2181 --replication-factor 2 --partitions 3 --topic test

--create：創建主題

--zookeeper：指定zookeeper節點

--replication-factor：指定幾個副本

--partitions：指定幾個分區

--topic：指定主題名

 

• 查看topic（主題）命令

查看kafka當中存在的主題

cd /export/servers/kafka_2.11-1.0.0/bin
./kafka-topics.sh  --list --zookeeper node01:2181,node02:2181,node03:2181

--list：查看所有主題

-zookeeper：指定zookeeper節點

 

• 生產者（producer）生產數據

模擬生產者來生產數據

cd /export/servers/kafka_2.11-1.0.0/bin
./kafka-console-producer.sh --broker-list node01:9092,node02:9092,node03:9092 --topic test

--broker-list ：指定的生產者

--topic：指定主題

 

• 消費者（consumer）消費數據

模擬消費者進行消費數據

cd /export/servers/kafka_2.11-1.0.0/bin
./kafka-console-consumer.sh --from-beginning --topic test  --zookeeper node01:2181,node02:2181,node03:2181

--from-beginning：消費者在二次以後的啓動中，從頭開始消費

--topic：指定主題

--zookeeper：指定zookeeper節點，zookeeper記錄了每一個消費者消費的位置

 

• 查看topic的相關信息

查看topic的相關信息

cd /export/servers/kafka_2.11-1.0.0/bin
./kafka-topics.sh --describe --zookeeper node01:2181,node02:2181,node03:2181 --topic test

--zookeeper：指定zookeeper節點

--topic：指定主題

 

• 增加topic分區數

任意kafka服務器執行以下命令可以增加topic分區數

cd /export/servers/kafka_2.11-1.0.0/bin
./kafka-topics.sh --zookeeper node01:2181,node02:2181,node03:2181 --alter --topic test --partitions 5

 --zookeeper：指定zookeeper節點

--alter：修改

--topic：指定主題

--partitions：分區數

 

• 刪除topic

目前刪除topic在默認情況下打上一個刪除的標記，在重新啓動kafka後才刪除。如果需要立即刪除，則需要在server.properties中配置：

delete.topic.enable=true

然後執行以下命令進行刪除topic

cd /export/servers/kafka_2.11-1.0.0/bin
./kafka-topics.sh --zookeeper node01:2181,node02:2181,node03:2181 --delete --topic test01

--zookeeper：指定zookeeper節點

--delete：刪除

--topic：指定主題

 

• 添加配置

動態修改kakfa的配置

cd /export/servers/kafka_2.11-1.0.0/bin
./kafka-topics.sh --zookeeper node01:2181,node02:2181,node03:2181 --alter --topic test --config flush.messages=1

 

• 刪除配置

動態刪除kakfa的配置

cd /export/servers/kafka_2.11-1.0.0/bin
./kafka-topics.sh --zookeeper node01:2181 --alter --topic test --delete-config flush.messages