zookeeper+kafka高可用集羣部署

參考：https://www.cnblogs.com/panwenbin-logs/p/10369402.html

           https://blog.csdn.net/milhua/article/details/78931672

=================jdk安裝====================

1、安裝jdk

1-1、查看yum -y list java*

1-2、安裝jdk(找到jdk版本，執行yum install -y 命令)

 yum install -y java-1.8.0-openjdk-devel.i686

1-3、看看jdk是否安裝成功

java -version

2、jdk安裝遇到的問題---yum命令出現Loaded plugins: fastestmirror和vi無法寫入保存

 2-1、yum命令出現Loaded plugins: fastestmirror

原因：fastestmirror無法使用，默認開啓

解決：修改參數fastestmirror.conf文件裏的enabled爲0,表示禁用。

輸入 vi  /etc/yum/pluginconf.d/fastestmirror.conf ，修改enabled爲0，保存退出（：wq）

2-2、使用vi命令時，無法保存退出。

原因：改用戶下沒有對fastestmirror.conf文件的寫權限。

解決：可以先查看fastestmirror.conf的權限，退回到fastestmirror.conf目錄，輸入ls -l命令，  結果是--rw - r - r，則表示非root用戶只有讀權限，而root用戶有讀寫權限。將當前用戶切換到Root權限即可，執行命令： su root

3、yum install是不用配置環境變量，已經配好了。

      可以使用echo $PATH 和 echo $CLASSPATH 和 echo $JAVA_HOME來查看相對的環境變量（百度很多例子是要配置，看看就好了）。

 

===============zookeeper集羣搭建=================

 

1、下載並解壓到指定目錄

#下載
wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz


#在當前目錄解壓到/usr/local文件下
tar xf zookeeper-3.4.10.tar.gz -C /usr/local  


#如果不知道zookeeper-3.4.10.tar.gz在哪裏，可以用命令去查
find -name zookee*

2、zookeeper-3.4.10軟連接關聯zookeeper

# 提供一個zookeeper-3.4.10軟連接關聯zookeeper 
# zookeeper-3.4.10和zookeeper 是一樣的 ，改變其中一個就會影響到另外一個
cd /usr/local
ln -sv zookeeper-3.4.10 zookeeper

3、 zoo_sample.cfg拷貝到zoo.cfg

cd /usr/local/zookeeper/conf
cp  zoo_sample.cfg zoo.cfg

4、修改zoo.cfg配置

vim zoo.cfg

#自定義zookeeper日誌文件 目錄是/Data/zookeeper
dataDir=/Data/zookeeper

#server.myid = ip:(leader默認端口2888):(follower默認端口3888)
#zookeeper領導者選舉規則，先比較myid，大的就是leader，myid一直比較sid,大的就是leader
server.1 = 192.168.23.131:2888:3888
server.2 = 192.168.23.132:2888:3888
server.3 = 192.168.23.133:2888:3888

 

5、創建zookeeper日誌文件和指定myid

#創建存儲zookeeper日誌文件
mkdir -pv /Data/zookeeper
#指定myid,多臺機器就指定不同的id 本次zookeeper的集羣有三臺機器，就1,2,3就好了
echo "1" > /Data/zookeeper/myid

6、zk服務狀態

cd /usr/local/zookeeper/bin
./zkServer.sh start

 6-1、開啓zk服務

6-2、檢測zk狀態

  ./zkServer.sh status

6-3、關閉zk

 ./zkServer.sh stop

6-4、查看zookeeper是leader還是follower有兩種方法

6-4-1、./zkServer.sh status

6-4-2、 netstat -nlpt | grep -E "2181|2888|3888" ， 3888監聽就是follwer , 2888監聽就是leader

6-5、查看日誌

cd /usr/local/zookeeper/bin

tailf zookeeper.out 

7、遇到的問題，關閉防火牆 (linux系統不一樣，關閉方法不一樣)

7-1、防火牆篇幅

        service iptables status

        service iptables start

        service iptables stop

        設置防火牆自啓動爲關閉

        chkconfig iptables off（設置自動啓動爲關閉）

7-2、telnet檢測tcp連接是否異常

        yum install telnet nc -y 

        telnet ip ports

7-3、zookeeper只啓動一、二臺都會是啓動失敗的，最少要三臺纔會啓動成功。

===============kafka集羣搭建=================

1、下載kafka

#下載
wget http://labfile.oss.aliyuncs.com/courses/859/kafka_2.10-0.10.2.1.tgz

#解壓到/usr/local目錄下
tar xf kafka_2.10-0.10.2.1.tgz -C /usr/local

2、創建軟連接

# 提供一個kafka_2.10-0.10.2.1.tgz軟連接關聯kafka
# kafka_2.10-0.10.2.1.tgz和kafka是一樣的 ，改變其中一個就會影響到另外一個
cd /usr/local
ln -sv kafka_2.10-0.10.2.1.tgz kafka

 3、修改kafka配置

cd /usr/local/kafka/config
vim  server.properties

server.properties文件詳解

 

修改配置

log.dirs=/Data/kafka-logs
num.partitions=3
broker.id=1 #每一臺機器都不一樣，第二臺機器就是2，第三臺是3
listeners= PLAINTEXT://192.168.23.132:9092
zookeeper.connect=192.168.23.131:2181,192.168.23.132:2181,192.168.23.133:2181

 4、創建kafka日誌文件

mkdir -pv /Data/kafka-logs

5、kafka啓動與關閉

#啓動
 cd /usr/local/kafka/bin
./kafka-server-start.sh -daemon ../config/server.properties


#關閉
cd /usr/local/kafka/bin
./kafka-server-stop.sh

注意：關閉是先必須先關了kafka，再關zookeeper， 如果先關zookeeper的話，就無法關閉kafka。

如果先關了zookeeper的話，就只有強制殺死kafka進程了。

jps 

kill -9  5174 （kill -9 進程pid）

 

6、查看kafka的節點情況，比如查看brokers 、topics、partition

這一點是在zookeeper上查看的

cd /usr/local/zookeeper/bin
./zkCli.sh