kafka的分佈式安裝

0、選擇mini1、mini2、mini3三臺主機安裝kafka，以及kafka的安裝包   kafka_2.11-0.10.0.1.tgz

1、準備zookeeper

略

2、jdk安裝

略

3、上傳文件到集羣上

略

4、解壓到    /usr/local/kafka ，並且分發到其他兩臺機器上去

#解壓文件
tar -zxvf kafka_2.11-0.10.0.1.tgz -C /usr/local/kafka

#進入/usr/local/kafka
cd /usr/local/kafka

#分發mini2
scp -r kafka_2.11-0.10.0.1  root@mini2:/usr/local/kafka

#分發mini3
scp -r kafka_2.11-0.10.0.1  root@mini3:/usr/local/kafka

5、環境變量配置，每臺機器都配置一遍

#應該都會vi
vi /etc/profile

export KAFKA_HOME=/usr/local/kafka/kafka_2.11-0.10.0.1
export PATH=$KAFKA_HOME/bin:$PATH

#然後退出來，刷新文件
source /etc/profile

6、更改配置文件

#進入kafka的config目錄下，然後備份一個配置文件
cp server.properties  server.properties.bak

#更改配置文件
vi server.properties

把如下的幾個部分更改一下:

...

broker.id=1   #borker.id 是不可以重複的。mini1取1，mini2取2mini3取3

...
#把前面的註釋去掉
listeners=PLAINTEXT://:9092

...
#改一下log的目錄
log.dirs=/usr/local/kafka/logs

...
#把zk配置上去
zookeeper.connect=mini1:2181,mini2:2181,mini3:2181

 

7、分發server.properties，同時修改每個文件的broker.id,mini1取1，mini2取2mini3取3

scp  server.properties  root@mini2:/usr/local/kafka/kafka_2.11-0.10.0.1/config

scp  server.properties  root@mini3:/usr/local/kafka/kafka_2.11-0.10.0.1/config

 修改mini2的機器上把server.properties 的broker.id=2，修改把mini3機器上的server.properties 的broker.id=3。

8、kafka的啓動

     先啓動zk，再啓動kafka（每一臺機器都執行一遍）

zkServer.sh start

#在kafka的安裝目錄下使用
bin/kafka-server-start.sh config/server.properties

9、創建主題

$>bin/kafka-topics.sh --create --zookeeper mini1:2181 --replication-factor 3 --partitions 3 --topic test

10、查看主題列表

$>bin/kafka-topics.sh --list --zookeeper mini1:2181

11、啓動控制檯生產者

$>bin/kafka-console-producer.sh --broker-list mini1:9092 --topic test

12、啓動控制檯消費者

$>bin/kafka-console-consumer.sh --bootstrap-server mini1:9092 --topic test --from-beginning --zookeeper mini1:2181

13、在生產者一端輸入

14、查看消費者控制檯