安裝準備
JDK環境準備,具體搭建過程請戳我
ZOOKEEPER環境準備,具體搭建過程請戳我
開始安裝
通過wget命令獲取kafka安裝包(也可以直接上傳到虛擬機,這裏就不介紹了)
wget http://mirror.bit.edu.cn/apache/kafka/1.1.1/kafka_2.12-1.1.1.tgz
解壓
tar -zxvf kafka_2.12-1.1.1.tgz -C /soft
配置環境變量
echo 'KAFKA_HOME=/soft/kafka-1.1.1' >> ~/.bashrc
echo 'PATH=$PATH:$KAFKA_HOME/bin' >> ~/.bashrc
改個名字
mv /soft/kafka_2.12-1.1.1/ /soft/kafka-1.1.1/
修改配置
cd kafka-1.1.1/config/
#爲了防止配置出錯或者是以後想重新配置,留個備份
cp server.properties server.properties_bak
#開始配置
vim server.properties
修改具體內容如下:
listeners=PLAINTEXT://:9092 -------------> 將前面的#去掉,監聽端口默認即可,如果不填寫主機名默認爲本機
broker.id=0 --------------------------------------> 數字id,集羣裏所有虛擬機全都不同即可
zookeeper.connect=localhost:2181 ------------> 後面加上自己zookeeper集羣內的所有虛擬機,格式如下
zookeeper.connect=localhost:2181,worker1:2181,worker2:2181,worker3:2181,worker4:2181
分發配置
scp ~/.bashrc hadoop@worker1:/home/hadoop/.bashrc
scp ~/.bashrc hadoop@worker2:/home/hadoop/.bashrc
scp ~/.bashrc hadoop@worker3:/home/hadoop/.bashrc
scp ~/.bashrc hadoop@worker4:/home/hadoop/.bashrc
scp -r /soft/kafka-1.1.1/ hadoop@worker1:/soft/kafka-1.1.1/
scp -r /soft/kafka-1.1.1/ hadoop@worker2:/soft/kafka-1.1.1/
scp -r /soft/kafka-1.1.1/ hadoop@worker3:/soft/kafka-1.1.1/
scp -r /soft/kafka-1.1.1/ hadoop@worker4:/soft/kafka-1.1.1/
# 然後在所有虛擬機上運行以下代碼,使環境變量生效
source ~/.bashrc
開啓服務
# 啓動腳本後加上使用哪個properties,推薦使用全路徑
kafka-server-start.sh /soft/kafka-1.1.1/config/server.properties
# 啓動之後發現會停滯,程序並不是後臺運行的,可以執行以下代碼使kafka後臺運行
kafka-server-start.sh /soft/kafka-1.1.1/config/server.properties 1>/dev/null 2>&1 &
注:要先打開zookeeper之後再啓動kafka,jps查看進程發現有kafka的後臺進程就可以了!
這個系列主要是寫怎麼搭建環境,至於怎麼使用...emmmmm,之後再寫~(此篇有問題還請大佬們評論區不吝賜教,不勝感激)