快速入門kafka② kafka集羣搭建(初級體驗)

一、搭建環境前提

安裝jdk，安裝zookeeper並保證zk服務正常啓動

二、下載並解壓

wget http://archive.apache.org/dist/kafka/1.0.0/kafka_2.11-1.0.0.tgz

tar –zxvf  kafka_2.11-1.0.0.tgz -C /export/servers/

三、node01服務修改配置文件

node01執行以下命令進入到kafka的配置文件目錄，修改配置文件
node01執行以下命令創建數據文件存放目錄
mkdir -p  /export/servers/kafka_2.11-1.0.0/logs
cd /export/servers/kafka_2.11-1.0.0/config
vim server.properties
================
# broker.id 唯一的
broker.id=0
log.dirs=/export/servers/kafka_2.11-1.0.0/logs
zookeeper.connect=node01:2181,node02:2181,node03:2181
delete.topic.enable=true
# host.name 在那個節點上就寫那個
host.name=node01

 四、安裝包分發到其他的節點上

scp -r kafka_2.11-1.0.0/ node02:$PWD
scp -r kafka_2.11-1.0.0/ node03:$PWD

五、kafka集羣啓動與關閉

bin/kafka-server-start.sh config/server.properties &
bin/kafka-server-stop.sh 

 六、kafka 初級體驗

創建一個Topic
bin/kafka-topics.sh --zookeeper node01:2181,node02:2181,node03:2181 --create --replication-factor 2 --partitions 3 --topic AA
執行結果
Created topic "AA".
查詢創建的Topic
bin/kafka-topics.sh --list --zookeeper node01:2181,node02:2181,node03:2181
模擬生產者生產數據：當出來>(說明是創建成功了)
bin/kafka-console-producer.sh --broker-list node01:9092,node02:9092,node03:9092 --topic BB1
--broker-list 指的是存儲數據的kafka節點
模擬消費者消費數據
bin/kafka-console-consumer.sh --topic BB --zookeeper node01:2181,node02:2181,node03:2181 --from-beginning
-zookeepe: 消費者在二次進入啓動中，在那個位置開始消費
-from-beginning： 記錄消費者消費到那條數據，記錄的是偏移量，每條數據都有唯一的偏移量