基於 Zookeeper 機羣來搭建，Kafka集羣環境

 

服務器環境準備：

使用vm虛擬三個linux主機

192.168.0.4
192.168.0.5
192.168.0.6

Zookeeper集羣環境搭建：

1.每臺服務器節點上安裝jdk1.8環境

2.每臺服務器節點上安裝Zookeeper

1.下載並且安裝zookeeper安裝包
wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz
2. 解壓安裝包
tar -zxvf zookeeper-3.4.10.tar.gz
3. 重命名
重命名： mv zookeeper-3.4.10 zookeeper

3.搭建Zookeeper集羣環境

修改zoo_sample.cfg文件

cd /usr/local/zookeeper/conf
mv zoo_sample.cfg zoo.cfg
修改conf: vi zoo.cfg 修改兩處
（1） dataDir=/usr/local/zookeeper/data（注意同時在zookeeper創建data目錄）
（2）最後面添加
server.0=192.168.0.4:2888:3888
server.1=192.168.0.5:2888:3888
server.2=192.168.0.6:2888:3888

4.創建服務器標識

服務器標識配置：
創建文件夾： mkdir data
創建文件myid並填寫內容爲0： vi
myid (內容爲服務器標識 ： 0)

5.複製zookeeper

進行復制zookeeper目錄到05和06 機器商
還有/etc/profile文件
把05、 06 中的myid文件裏的值修改爲1和2
路徑(vi /usr/local/zookeeper/data/myid)

關閉每臺服務器節點防火牆，systemctl stop firewalld.service

6.啓動zookeeper

啓動zookeeper：
路徑： /usr/local/zookeeper/bin
執行： zkServer.sh start
(注意這裏3臺機器都要進行啓動)
狀態： zkServer.sh status(在三個節點上檢驗zk的mode,一個leader和倆個follower)
/usr/local/zookeeper/bin/zkServer.sh status 
出現Mode:follower或是Mode:leader則代表成功 

Kafka集羣環境搭建

3臺虛擬機均進行以下操作：

// 解壓下載好的kafka壓縮包並重命名
cd /usr/local
wget http://mirror.bit.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz 
tar -zxvf kafka_2.11-1.0.0.tgz
mv kafka_2.12-0.11.0.0 kafka
// 修改配置文件
vi ./kafka/config/server.properties

修改配置文件：

需要修改的內容如下(192.168.212.169)
broker.id=0
listeners=PLAINTEXT://192.168.212.169:9092
zookeeper.connect=192.168.0.5:2181,192.168.0.6:2181,192.168.0.4:2181


需要修改的內容如下(192.168.212.170)
broker.id=1
listeners=PLAINTEXT://192.168.212.170:9092
zookeeper.connect=192.168.0.5:2181,192.168.0.6:2181,192.168.0.4:2181


需要修改的內容如下(192.168.212.171)
broker.id=2
listeners=PLAINTEXT://192.168.212.171:9092
zookeeper.connect=192.168.0.5:2181,192.168.0.6:2181,192.168.0.4:2181

在系統環境中配置kafka的路徑

vi /etc/profile

// 在文件最下方添加kafka路徑
export KAFKA_HOME=/usr/local/kafka
// 多路徑PATH寫法爲PATH=${ZOOKEEPER_HOME}/bin:${KAFKA_HOME}/bin:$PATH
PATH=${KAFKA_HOME}/bin:$PATH
export PATH

使修改完的環境變量生效

source /etc/profile

192.168.212.169:2181,192.168.212.170:2181,192.168.212.171:2181

在後臺開啓3臺虛擬機的kafka程序(cd /usr/local/kafka)

./bin/kafka-server-start.sh -daemon config/server.properties 

到此就完成了kafka 服務器機羣的搭建