搭建kafka集羣,需要先搭建zookeeper集羣,搭建zookeeper集羣,依賴於jdk
1.下載安裝jdk8
https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html
2.將jdk-8u231-linux-x64.tar.gz放到/usr/local下面
3.執行tar -zxvf jdk-8u231-linux-x64.tar.gz 解壓安裝包
4.vi /etc/profile 配置jdk
#jdk
export JAVA_HOME=/usr/local/jdk1.8.0
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
5.執行 source /etc/profile 使文件生效
6.下載zookeeper
這裏可以看到最新的版本 https://zookeeper.apache.org/releases.html
我使用的是3.6.1版本 https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.6.1/apache-zookeeper-3.6.1.tar.gz
下載的是源碼版本,不要下載錯了
7.將 apache-zookeeper-3.6.1.tar.gz 放到/usr/local下面
8. tar -zxvf apache-zookeeper-3.6.1.tar.gz 解壓文件
9.mv apache-zookeeper-3.6.1 zookeeper-3.6.1 進行重命名
10.cd /zookeeper-3.6.1/conf
11. cp zoo_sample.cfg zoo.cfg複製一份配置文件並重命名zoo.cfg
12.vi zoo.cfg
12.修改dataDir路徑 dataDir=/usr/local/zookeeper-3.6.1/data
13.添加三臺服務器集羣
server.1=192.168.1.143:2888:3888
server.2=192.168.1.139:2888:3888
server.3=192.168.1.153:2888:3888
14.切換到 zookeeper-3.6.1 文件夾下
15. mkdir data 創建data目錄
16.cd data 切換到data目錄
17.vi myid 輸入1 然後 保存
這個1對應的是server集羣的1 其他兩個文件的myid分別對應的是2和3
18.vi /etc/profile 配置zookeeper
#zookeeper
export ZOOKEEPER_HOME=/usr/local/zookeeper-3.6.1
export PATH=$PATH:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf
19.保存 並執行source /etc/profile 使文件生效
20.到這裏先不要啓動,再按照上面的說明配置其他兩臺服務器
21.啓動zookeeper命令 切換到bin目錄 執行 shServer.sh start
日誌啓動命令 zkServer.sh start-foreground
zkServer.sh status 看到一下內容即爲集羣成功 兩臺服務器是 follower 一臺服務器是 leader
以上是zookeeper集羣搭建,下面是kafka集羣搭建
22.下載kafka 這裏是中文官網地址 http://kafka.apachecn.org/
這裏是最新版本地址 http://kafka.apachecn.org/downloads.html
下載的時候使用二進制文件,請勿使用源碼src文件
我使用的是2.11-1.0.0版本 下載地址是 https://www.apache.org/dyn/closer.cgi?path=/kafka/1.0.0/kafka_2.11-1.0.0.tgz
23.將文件kafka_2.11-1.0.0.tgz放到 /user/local目錄下
24. tar -zxvf kafka_2.11-1.0.0.tgz 解壓文件
25.切換目錄 cd /usr/local/kafka_2.11-1.0.0/config
26.編輯配置文件 vi server.properties
27.需要改動三個地方
27.1 broker.id=1 和myid相對應
27.2 原來的listeners是被註釋的,打開註釋,修改成 只需替換自己服務器的ip即可
listeners=PLAINTEXT://192.168.1.153:9092 每臺服務器使用各自的ip
27.3 原來的zookeeper.connect=localhost:2181是單機版的,我們搭建集羣修改爲自己的服務器ip,逗號分隔
zookeeper.connect=192.168.1.143:2181,192.168.1.139:2181,192.168.1.153:2181 三臺服務器使用相同的配置
28. vi /etc/profile 覆蓋zookeeper配置 使用
#zookeeper
export ZOOKEEPER_HOME=/usr/local/zookeeper-3.6.1
#kafka
export KAFKA_HOME=/usr/local/kafka_2.11-1.0.0
export PATH=$PATH:${KAFKA_HOME}/bin:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf
29.執行 source /etc/profile使文件生效
30.其他兩臺服務器使用相同配置 只需改動 broker.id 和 listeners
31.使用 ./bin/kafka-server-start.sh -daemon config/server.properties 命令啓動或者
nohup /user/local/kafka_2.11-1.0.0/bin/kafka-server-start.sh /user/local/kafka_2.11-1.0.0/config/server.properties &
32.檢查是否啓動成功使用 ps -ef | grep kafka 顯示一下內容即爲啓動成功
33.查看日誌 切換到 日誌目錄 /usr/local/kafka_2.11-1.0.0/logs
步驟較多,按照步驟一步一步的走,搭建集羣是完全OK的