kafka的分布式安装

0、选择mini1、mini2、mini3三台主机安装kafka，以及kafka的安装包   kafka_2.11-0.10.0.1.tgz

1、准备zookeeper

略

2、jdk安装

略

3、上传文件到集群上

略

4、解压到    /usr/local/kafka ，并且分发到其他两台机器上去

#解压文件
tar -zxvf kafka_2.11-0.10.0.1.tgz -C /usr/local/kafka

#进入/usr/local/kafka
cd /usr/local/kafka

#分发mini2
scp -r kafka_2.11-0.10.0.1  root@mini2:/usr/local/kafka

#分发mini3
scp -r kafka_2.11-0.10.0.1  root@mini3:/usr/local/kafka

5、环境变量配置，每台机器都配置一遍

#应该都会vi
vi /etc/profile

export KAFKA_HOME=/usr/local/kafka/kafka_2.11-0.10.0.1
export PATH=$KAFKA_HOME/bin:$PATH

#然后退出来，刷新文件
source /etc/profile

6、更改配置文件

#进入kafka的config目录下，然后备份一个配置文件
cp server.properties  server.properties.bak

#更改配置文件
vi server.properties

把如下的几个部分更改一下:

...

broker.id=1   #borker.id 是不可以重复的。mini1取1，mini2取2mini3取3

...
#把前面的注释去掉
listeners=PLAINTEXT://:9092

...
#改一下log的目录
log.dirs=/usr/local/kafka/logs

...
#把zk配置上去
zookeeper.connect=mini1:2181,mini2:2181,mini3:2181

 

7、分发server.properties，同时修改每个文件的broker.id,mini1取1，mini2取2mini3取3

scp  server.properties  root@mini2:/usr/local/kafka/kafka_2.11-0.10.0.1/config

scp  server.properties  root@mini3:/usr/local/kafka/kafka_2.11-0.10.0.1/config

 修改mini2的机器上把server.properties 的broker.id=2，修改把mini3机器上的server.properties 的broker.id=3。

8、kafka的启动

     先启动zk，再启动kafka（每一台机器都执行一遍）

zkServer.sh start

#在kafka的安装目录下使用
bin/kafka-server-start.sh config/server.properties

9、创建主题

$>bin/kafka-topics.sh --create --zookeeper mini1:2181 --replication-factor 3 --partitions 3 --topic test

10、查看主题列表

$>bin/kafka-topics.sh --list --zookeeper mini1:2181

11、启动控制台生产者

$>bin/kafka-console-producer.sh --broker-list mini1:9092 --topic test

12、启动控制台消费者

$>bin/kafka-console-consumer.sh --bootstrap-server mini1:9092 --topic test --from-beginning --zookeeper mini1:2181

13、在生产者一端输入

14、查看消费者控制台