zookeeper+kafka高可用集群部署

参考：https://www.cnblogs.com/panwenbin-logs/p/10369402.html

           https://blog.csdn.net/milhua/article/details/78931672

=================jdk安装====================

1、安装jdk

1-1、查看yum -y list java*

1-2、安装jdk(找到jdk版本，执行yum install -y 命令)

 yum install -y java-1.8.0-openjdk-devel.i686

1-3、看看jdk是否安装成功

java -version

2、jdk安装遇到的问题---yum命令出现Loaded plugins: fastestmirror和vi无法写入保存

 2-1、yum命令出现Loaded plugins: fastestmirror

原因：fastestmirror无法使用，默认开启

解决：修改参数fastestmirror.conf文件里的enabled为0,表示禁用。

输入 vi  /etc/yum/pluginconf.d/fastestmirror.conf ，修改enabled为0，保存退出（：wq）

2-2、使用vi命令时，无法保存退出。

原因：改用户下没有对fastestmirror.conf文件的写权限。

解决：可以先查看fastestmirror.conf的权限，退回到fastestmirror.conf目录，输入ls -l命令，  结果是--rw - r - r，则表示非root用户只有读权限，而root用户有读写权限。将当前用户切换到Root权限即可，执行命令： su root

3、yum install是不用配置环境变量，已经配好了。

      可以使用echo $PATH 和 echo $CLASSPATH 和 echo $JAVA_HOME来查看相对的环境变量（百度很多例子是要配置，看看就好了）。

 

===============zookeeper集群搭建=================

 

1、下载并解压到指定目录

#下载
wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz


#在当前目录解压到/usr/local文件下
tar xf zookeeper-3.4.10.tar.gz -C /usr/local  


#如果不知道zookeeper-3.4.10.tar.gz在哪里，可以用命令去查
find -name zookee*

2、zookeeper-3.4.10软连接关联zookeeper

# 提供一个zookeeper-3.4.10软连接关联zookeeper 
# zookeeper-3.4.10和zookeeper 是一样的 ，改变其中一个就会影响到另外一个
cd /usr/local
ln -sv zookeeper-3.4.10 zookeeper

3、 zoo_sample.cfg拷贝到zoo.cfg

cd /usr/local/zookeeper/conf
cp  zoo_sample.cfg zoo.cfg

4、修改zoo.cfg配置

vim zoo.cfg

#自定义zookeeper日志文件 目录是/Data/zookeeper
dataDir=/Data/zookeeper

#server.myid = ip:(leader默认端口2888):(follower默认端口3888)
#zookeeper领导者选举规则，先比较myid，大的就是leader，myid一直比较sid,大的就是leader
server.1 = 192.168.23.131:2888:3888
server.2 = 192.168.23.132:2888:3888
server.3 = 192.168.23.133:2888:3888

 

5、创建zookeeper日志文件和指定myid

#创建存储zookeeper日志文件
mkdir -pv /Data/zookeeper
#指定myid,多台机器就指定不同的id 本次zookeeper的集群有三台机器，就1,2,3就好了
echo "1" > /Data/zookeeper/myid

6、zk服务状态

cd /usr/local/zookeeper/bin
./zkServer.sh start

 6-1、开启zk服务

6-2、检测zk状态

  ./zkServer.sh status

6-3、关闭zk

 ./zkServer.sh stop

6-4、查看zookeeper是leader还是follower有两种方法

6-4-1、./zkServer.sh status

6-4-2、 netstat -nlpt | grep -E "2181|2888|3888" ， 3888监听就是follwer , 2888监听就是leader

6-5、查看日志

cd /usr/local/zookeeper/bin

tailf zookeeper.out 

7、遇到的问题，关闭防火墙 (linux系统不一样，关闭方法不一样)

7-1、防火墙篇幅

        service iptables status

        service iptables start

        service iptables stop

        设置防火墙自启动为关闭

        chkconfig iptables off（设置自动启动为关闭）

7-2、telnet检测tcp连接是否异常

        yum install telnet nc -y 

        telnet ip ports

7-3、zookeeper只启动一、二台都会是启动失败的，最少要三台才会启动成功。

===============kafka集群搭建=================

1、下载kafka

#下载
wget http://labfile.oss.aliyuncs.com/courses/859/kafka_2.10-0.10.2.1.tgz

#解压到/usr/local目录下
tar xf kafka_2.10-0.10.2.1.tgz -C /usr/local

2、创建软连接

# 提供一个kafka_2.10-0.10.2.1.tgz软连接关联kafka
# kafka_2.10-0.10.2.1.tgz和kafka是一样的 ，改变其中一个就会影响到另外一个
cd /usr/local
ln -sv kafka_2.10-0.10.2.1.tgz kafka

 3、修改kafka配置

cd /usr/local/kafka/config
vim  server.properties

server.properties文件详解

 

修改配置

log.dirs=/Data/kafka-logs
num.partitions=3
broker.id=1 #每一台机器都不一样，第二台机器就是2，第三台是3
listeners= PLAINTEXT://192.168.23.132:9092
zookeeper.connect=192.168.23.131:2181,192.168.23.132:2181,192.168.23.133:2181

 4、创建kafka日志文件

mkdir -pv /Data/kafka-logs

5、kafka启动与关闭

#启动
 cd /usr/local/kafka/bin
./kafka-server-start.sh -daemon ../config/server.properties


#关闭
cd /usr/local/kafka/bin
./kafka-server-stop.sh

注意：关闭是先必须先关了kafka，再关zookeeper， 如果先关zookeeper的话，就无法关闭kafka。

如果先关了zookeeper的话，就只有强制杀死kafka进程了。

jps 

kill -9  5174 （kill -9 进程pid）

 

6、查看kafka的节点情况，比如查看brokers 、topics、partition

这一点是在zookeeper上查看的

cd /usr/local/zookeeper/bin
./zkCli.sh