linux 搭建kafka集羣,超詳細教程

搭建kafka集羣,需要先搭建zookeeper集羣,搭建zookeeper集羣,依賴於jdk

1.下載安裝jdk8

https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

2.將jdk-8u231-linux-x64.tar.gz放到/usr/local下面

3.執行tar -zxvf jdk-8u231-linux-x64.tar.gz 解壓安裝包

4.vi /etc/profile 配置jdk

#jdk
export JAVA_HOME=/usr/local/jdk1.8.0
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

5.執行 source /etc/profile 使文件生效

6.下載zookeeper 

  這裏可以看到最新的版本 https://zookeeper.apache.org/releases.html

  我使用的是3.6.1版本 https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.6.1/apache-zookeeper-3.6.1.tar.gz

 下載的是源碼版本,不要下載錯了

7.將 apache-zookeeper-3.6.1.tar.gz 放到/usr/local下面

8. tar -zxvf apache-zookeeper-3.6.1.tar.gz 解壓文件

9.mv apache-zookeeper-3.6.1 zookeeper-3.6.1 進行重命名

10.cd /zookeeper-3.6.1/conf

11. cp zoo_sample.cfg zoo.cfg複製一份配置文件並重命名zoo.cfg

12.vi zoo.cfg 

12.修改dataDir路徑 dataDir=/usr/local/zookeeper-3.6.1/data 

13.添加三臺服務器集羣

    server.1=192.168.1.143:2888:3888
    server.2=192.168.1.139:2888:3888
    server.3=192.168.1.153:2888:3888

14.切換到 zookeeper-3.6.1 文件夾下

15. mkdir data 創建data目錄

16.cd data 切換到data目錄

17.vi myid 輸入1 然後 保存

這個1對應的是server集羣的1 其他兩個文件的myid分別對應的是2和3

18.vi /etc/profile 配置zookeeper

#zookeeper
export ZOOKEEPER_HOME=/usr/local/zookeeper-3.6.1
export PATH=$PATH:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf

19.保存 並執行source /etc/profile 使文件生效

20.到這裏先不要啓動,再按照上面的說明配置其他兩臺服務器

21.啓動zookeeper命令  切換到bin目錄 執行 shServer.sh start     

     日誌啓動命令 zkServer.sh start-foreground

      zkServer.sh status 看到一下內容即爲集羣成功 兩臺服務器是 follower  一臺服務器是 leader

      

以上是zookeeper集羣搭建,下面是kafka集羣搭建

22.下載kafka   這裏是中文官網地址 http://kafka.apachecn.org/

       這裏是最新版本地址 http://kafka.apachecn.org/downloads.html

        下載的時候使用二進制文件,請勿使用源碼src文件

      我使用的是2.11-1.0.0版本  下載地址是  https://www.apache.org/dyn/closer.cgi?path=/kafka/1.0.0/kafka_2.11-1.0.0.tgz

23.將文件kafka_2.11-1.0.0.tgz放到  /user/local目錄下

24. tar -zxvf kafka_2.11-1.0.0.tgz 解壓文件

25.切換目錄 cd /usr/local/kafka_2.11-1.0.0/config

26.編輯配置文件  vi server.properties

27.需要改動三個地方

      27.1 broker.id=1 和myid相對應 

      27.2 原來的listeners是被註釋的,打開註釋,修改成 只需替換自己服務器的ip即可 

              listeners=PLAINTEXT://192.168.1.153:9092 每臺服務器使用各自的ip

27.3 原來的zookeeper.connect=localhost:2181是單機版的,我們搭建集羣修改爲自己的服務器ip,逗號分隔

          zookeeper.connect=192.168.1.143:2181,192.168.1.139:2181,192.168.1.153:2181 三臺服務器使用相同的配置

28. vi /etc/profile 覆蓋zookeeper配置 使用 

       

#zookeeper
export ZOOKEEPER_HOME=/usr/local/zookeeper-3.6.1

#kafka
export KAFKA_HOME=/usr/local/kafka_2.11-1.0.0

export PATH=$PATH:${KAFKA_HOME}/bin:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf

29.執行 source /etc/profile使文件生效

30.其他兩臺服務器使用相同配置 只需改動 broker.id 和 listeners 

31.使用 ./bin/kafka-server-start.sh -daemon config/server.properties 命令啓動或者

     nohup /user/local/kafka_2.11-1.0.0/bin/kafka-server-start.sh /user/local/kafka_2.11-1.0.0/config/server.properties &

32.檢查是否啓動成功使用 ps -ef | grep kafka  顯示一下內容即爲啓動成功

 

 

33.查看日誌 切換到 日誌目錄 /usr/local/kafka_2.11-1.0.0/logs

 

步驟較多,按照步驟一步一步的走,搭建集羣是完全OK的

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章