Kafka的安裝與使用
Kafka的安裝步驟
1. 官網下載Kafka
下載地址:http://kafka.apache.org/downloads.html
2. 將Kafka上傳到/home/tools目錄,解壓到/home/softwares目錄
[root@storm01 ~]# cd /home/tools/
[root@storm01 tools]# rz
[root@storm01 tools]# tar -zxf kafka_2.11-0.10.0.1.tgz -C ../softwares/
3. 進入到解壓後的目錄,修改配置文件server.properties
[root@storm01 softwares]# cd kafka_2.11-0.10.0.1/config/
[root@storm01 config]# vim server.properties
修改內容:
broker.id=0
listeners=PLAINTEXT://storm01:9092
log.dirs=/home/softwares/kafka_2.11-0.10.0.1/kafka-logs
zookeeper.connect=storm01:2181,storm02:2181,storm03:2181
配置1:
配置2:
在進行第3個配置之前,我們可克隆一個窗口,進入Kafka安裝目錄,創建日誌文件夾,複製logs路徑
配置3:
配置4:
4. 啓動Kafka
在啓動Kafka之前,將3個節點的zookeeper集羣啓動。
[root@storm01 config]# cd ~
[root@storm01 ~]# zkServer.sh start
storm01節點上進入Kafka安裝目錄,啓動Kafka,jps查看進程是否啓動
[root@storm01 kafka_2.11-0.10.0.1]# bin/kafka-server-start.sh -daemon config/server.properties
Kafka操作命令
1. 創建Topic主題命令
[root@storm01 kafka_2.11-0.10.0.1]# bin/kafka-topics.sh --create --zookeeper storm01:2181 --partition 1 --replication-factor 1 --topic test
2. 查看Topic列表
[root@storm01 kafka_2.11-0.10.0.1]# bin/kafka-topics.sh --zookeeper storm01:2181 --list
3. Kafka啓動控制檯生產者
[root@storm01 kafka_2.11-0.10.0.1]# bin/kafka-console-producer.sh --broker-list storm01:9092 --topic test
4. Kafka啓動控制檯消費者
[root@storm01 kafka_2.11-0.10.0.1]# bin/kafka-console-consumer.sh --zookeeper storm01:2181 --topic test --from-beginning