安装准备
JDK环境准备,具体搭建过程请戳我
ZOOKEEPER环境准备,具体搭建过程请戳我
开始安装
通过wget命令获取kafka安装包(也可以直接上传到虚拟机,这里就不介绍了)
wget http://mirror.bit.edu.cn/apache/kafka/1.1.1/kafka_2.12-1.1.1.tgz
解压
tar -zxvf kafka_2.12-1.1.1.tgz -C /soft
配置环境变量
echo 'KAFKA_HOME=/soft/kafka-1.1.1' >> ~/.bashrc
echo 'PATH=$PATH:$KAFKA_HOME/bin' >> ~/.bashrc
改个名字
mv /soft/kafka_2.12-1.1.1/ /soft/kafka-1.1.1/
修改配置
cd kafka-1.1.1/config/
#为了防止配置出错或者是以后想重新配置,留个备份
cp server.properties server.properties_bak
#开始配置
vim server.properties
修改具体内容如下:
listeners=PLAINTEXT://:9092 -------------> 将前面的#去掉,监听端口默认即可,如果不填写主机名默认为本机
broker.id=0 --------------------------------------> 数字id,集群里所有虚拟机全都不同即可
zookeeper.connect=localhost:2181 ------------> 后面加上自己zookeeper集群内的所有虚拟机,格式如下
zookeeper.connect=localhost:2181,worker1:2181,worker2:2181,worker3:2181,worker4:2181
分发配置
scp ~/.bashrc hadoop@worker1:/home/hadoop/.bashrc
scp ~/.bashrc hadoop@worker2:/home/hadoop/.bashrc
scp ~/.bashrc hadoop@worker3:/home/hadoop/.bashrc
scp ~/.bashrc hadoop@worker4:/home/hadoop/.bashrc
scp -r /soft/kafka-1.1.1/ hadoop@worker1:/soft/kafka-1.1.1/
scp -r /soft/kafka-1.1.1/ hadoop@worker2:/soft/kafka-1.1.1/
scp -r /soft/kafka-1.1.1/ hadoop@worker3:/soft/kafka-1.1.1/
scp -r /soft/kafka-1.1.1/ hadoop@worker4:/soft/kafka-1.1.1/
# 然后在所有虚拟机上运行以下代码,使环境变量生效
source ~/.bashrc
开启服务
# 启动脚本后加上使用哪个properties,推荐使用全路径
kafka-server-start.sh /soft/kafka-1.1.1/config/server.properties
# 启动之后发现会停滞,程序并不是后台运行的,可以执行以下代码使kafka后台运行
kafka-server-start.sh /soft/kafka-1.1.1/config/server.properties 1>/dev/null 2>&1 &
注:要先打开zookeeper之后再启动kafka,jps查看进程发现有kafka的后台进程就可以了!
这个系列主要是写怎么搭建环境,至于怎么使用...emmmmm,之后再写~(此篇有问题还请大佬们评论区不吝赐教,不胜感激)