kafka自動化腳本部署

原創 春梦了却了无痕 2018-08-26 23:48

一、背景

    如果不採用CDH或者ambari等平臺來部署kafka的話，一臺一臺的安裝，一臺一臺的改配置，真的是一個非常讓人頭疼的事情呢，經領導提示，爲什麼不寫個shell腳本來進行一件部署呢

二、java自動部署

if [ ! -d /usr/java/jdk1.8.0_121 ];then
	mkdir -p  /root/software/
	wget -q http://192.168.10.152/hadoop/jdk-8u121-linux-x64.tar.gz -O /root/software/jdk-8u121-linux-x64.gz
	if [ $? -eq 0 ];then
		echo "軟件下載成功"
		mkdir -p /usr/java/
		tar zxf /root/software/jdk-8u121-linux-x64.gz -C /usr/java/
		echo  "export JAVA_HOME=/usr/java/jdk1.8.0_121"  >> /etc/profile
		echo 'export PATH=$JAVA_HOME/bin:$PATH' >> /etc/profile
		source /etc/profile
		echo "JAVA install is ok!!"
	else
		echo "軟件下載失敗"
		exit 1	
	fi
fi
source /etc/profile

三、Zookeeper自動部署（同下面kafka的自動部署一樣，需要將各機器共同的配置放在一個公共的配置文件裏，然後進行操作）

if [ $# == 0 ];then
	echo "please pointed config location!"
	exit 1;
fi
confPath=$1

ips=`hostname -i`
for ip in ${ips[@]}
do
        for line in $(cat $confPath)
        do
                result=$(echo $line | grep "${ip}")
                if [ "$result" != "" ]
                then
                        myid=$(echo $line|cut -d = -f 1 |cut -d . -f 2)
                fi
        done
done

if [ !$myid ];then
	echo "please check zoo.cfg!"
	exit 1;
fi
#################################zookeeper 部署及相關python包部署##################################

wget http://192.168.10.152/hadoop/zookeeper-3.4.8.tar.gz -O /usr/local/zookeeper-3.4.8.tar.gz
tar -xzf /usr/local/zookeeper-3.4.8.tar.gz -C /usr/local
ln -s /usr/local/zookeeper-3.4.8 /usr/local/zookeeper
rm -rf /usr/local/zookeeper-3.4.8.tar.gz


grep "export ZOOKEEPER_HOME=/usr/local/zookeeper" /etc/profile > /dev/null
if [ $? -eq 1 ]; then
    echo "export ZOOKEEPER_HOME=/usr/local/zookeeper" >> /etc/profile
fi

grep "export PATH=\\$\ZOOKEEPER_HOME/bin:\\$\PATH" /etc/profile > /dev/null
if [ $? -eq 1 ]; then
    echo "export PATH=\$ZOOKEEPER_HOME/bin:\$PATH" >> /etc/profile
fi

source /etc/profile

cp $ZOOKEEPER_HOME/bin/zkEnv.sh $ZOOKEEPER_HOME/bin/zkEnv.sh.bak
sed -i 's\ZOO_LOG_DIR="."\ZOO_LOG_DIR="$ZOOBINDIR/../logs"\g' $ZOOKEEPER_HOME/bin/zkEnv.sh

cp $ZOOKEEPER_HOME/conf/log4j.properties $ZOOKEEPER_HOME/conf/log4j.properties.bak
sed -i 's/zookeeper.root.logger=INFO, CONSOLE/zookeeper.root.logger=INFO, ROLLINGFILE/g' $ZOOKEEPER_HOME/conf/log4j.properties


################init config ##############
# cat <<EOF >$ZOOKEEPER_HOME/conf/zoo.cfg
# tickTime=2000
# the directory where the snapshot is stored
# dataDir=/data/zookeeper/data
# the directory where the transaction log is stored
# aLogDir=/data/zookeeper/log
# entPort=6181
# tLimit=10
# cLimit=5
# ClientCnxns=0
cat $confPath>$ZOOKEEPER_HOME/conf/zoo.cfg
cat $ZOOKEEPER_HOME/conf/zoo.cfg

################init manage script ##############

mkdir -p /root/scripts
mkdir -p /data/zookeeper/data
touch /root/scripts/zookeeper
cat <<EOF > /root/scripts/zookeeper
#/bin/bash   

ZOOKEEPER_HOME=/usr/local/zookeeper

case \$1 in  
          start) \$ZOOKEEPER_HOME/bin/zkServer.sh start;;  
          stop) \$ZOOKEEPER_HOME/bin/zkServer.sh stop;;                                 
          status) \$ZOOKEEPER_HOME/bin/zkServer.sh status;;  
          restart) \$ZOOKEEPER_HOME/bin/zkServer.sh stop&\$ZOOKEEPER_HOME/bin/zkServer.sh stop;;  
              *)  echo "require start|stop|status|restart";;  
esac
EOF
chmod +x /root/scripts/zookeeper

/root/scripts/zookeeper

grep "nohup /root/scripts/zookeeper start &" /etc/rc.local > /dev/null
if [ $? -eq 1 ]; then
    echo 'nohup /root/scripts/zookeeper start &' >> /etc/rc.local
fi


echo "ZOOKEEPR install ok!"

echo $myid > /data/zookeeper/data/myid

四、kafka自動部署腳本

#################################zookeeper 部署及相關python包部署##################################
###########判斷zookeeper是否安裝############
#zookeeperPath="/user/local/zookeeper"
#if [ ! -d "$zookeeperPath" ]; then
#       source ./zookeeper.sh 
#fi
if [ $# == 0 ];then
        echo "please pointed config location!"
    exit 1;
fi

wget http://192.168.10.152/hadoop/kafka_2.11-0.11.0.1.tgz -O /usr/local/kafka_2.11-0.11.0.1.tgz
tar -xzf /usr/local/kafka_2.11-0.11.0.1.tgz -C /usr/local
ln -s /usr/local/kafka_2.11-0.11.0.1 /usr/local/kafka
rm -rf /usr/local/kafka_2.11-0.11.0.1.tgz


grep "export KAFKA_HOME=/usr/local/kafka" /etc/profile > /dev/null
if [ $? -eq 1 ]; then
    echo "export KAFKA_HOME=/usr/local/kafka" >> /etc/profile
fi

grep "export PATH=\\$\KAFKA_HOME/bin:\\$\PATH" /etc/profile > /dev/null
if [ $? -eq 1 ]; then
    echo "export PATH=\$KAFKA_HOME/bin:\$PATH" >> /etc/profile
fi


source /etc/profile > /dev/null

cp $KAFKA_HOME/bin/kafka-server-start.sh $KAFKA_HOME/bin/kafka-server-start.sh.bak
sed -i 's/"-Xmx1G -Xms1G"/"-Xmx12G -Xms12G"\n    export JMX_PORT="9999"/' $KAFKA_HOME/bin/kafka-server-start.sh

mv $KAFKA_HOME/config/server.properties $KAFKA_HOME/config/server.properties.bak
################init config ##############
broker_id=`hostname|cut -d - -f 5`
echo "broker.id=$broker_id">>$KAFKA_HOME/config/server.properties

ipaddr=`hostname -i`
echo "listeners=PLAINTEXT://$ipaddr:9092">>$KAFKA_HOME/config/server.properties

if [ $broker_id -le 123 ]; then echo "broker.rack=B0614">>$KAFKA_HOME/config/server.properties; fi
if [ $broker_id -gt 123 ] && [ $broker_id -le 126 ]; then echo "broker.rack=B0615">>$KAFKA_HOME/config/server.properties; fi

confPath=$1
cat $confPath>>$KAFKA_HOME/config/server.properties

################init manage script ##############

mkdir -p /root/scripts
# mkdir -p /data/kafka-logs
touch /root/scripts/Kafka
cat <<EOF > /root/scripts/Kafka
#/bin/bash   

KAFKA_HOME=/usr/local/kafka

case \$1 in  
          start) \$KAFKA_HOME/bin/kafka-server-start.sh -daemon \$KAFKA_HOME/config/server.properties;;  
           stop) \$KAFKA_HOME/bin/kafka-server-stop.sh;;                                 
              *)  echo "require start|stop";;  
esac
EOF
chmod +x /root/scripts/Kafka
/root/scripts/Kafka

grep "nohup /root/scripts/Kafka start\ \&" /etc/rc.local > /dev/null
if [ $? -eq 1 ]; then
    echo 'nohup /root/scripts/Kafka start &' >> /etc/rc.local
fi


echo "KAFKA install ok!"

五、卸載Zookeeper、kafka腳本

##############kafka卸載###################
if [ $# == 0 ];then
        echo "please pointed config location!"
    exit 1;
fi

rm /usr/local/kafka

grep "export KAFKA_HOME=/usr/local/kafka" /etc/profile > /dev/null
if [ $? -eq 0 ]; then
    sed -i '/export KAFKA_HOME=\/usr\/local\/kafka/d' /etc/profile
fi

grep "export PATH=\\$\KAFKA_HOME/bin:\\$\PATH" /etc/profile > /dev/null
if [ $? -eq 0 ]; then
    sed -i '/export PATH=\$KAFKA_HOME\/bin:\$PATH/d' /etc/profile
fi

source /etc/profile > /dev/null

################init manage script ##############
logDir=`grep 'log.dirs' server.properties | awk -F'=' '{print $2}'`
if [ -d $logDir/ ]; then rm -r $logDir; fi

rm /root/scripts/Kafka

grep "nohup /root/scripts/Kafka start &" /etc/rc.local > /dev/null
if [ $? -eq 0 ]; then
    sed -i '/nohup\ \/root\/scripts\/Kafka\ start\ \&/d' /etc/rc.local
fi
rm -r /usr/local/kafka_2.11-0.11.0.1

echo "KAFKA unstall ok!"


################卸載Zookeeper ##############
if [ $# == 0 ];then
	echo "please pointed config location!"
    exit 1;
fi

confPath=$1
rm /usr/local/zookeeper

grep "export ZOOKEEPER_HOME=/usr/local/zookeeper" /etc/profile > /dev/null
if [ $? -eq 0 ]; then
    sed -i '/export ZOOKEEPER_HOME=\/usr\/local\/zookeeper/d' /etc/profile
fi

grep "export PATH=\\$\ZOOKEEPER_HOME/bin:\\$\PATH" /etc/profile > /dev/null
if [ $? -eq 0 ]; then
    sed -i '/export PATH=\$ZOOKEEPER_HOME\/bin:\$PATH/d'  /etc/profile
fi
source /etc/profile

dataDir=`grep "dataDir" $confPath|cut -d = -f2`
dataLogDir=`grep "dataLogDir" $confPath|cut -d = -f2`
rm -r $dataDir
rm -r $dataLogDir
rm /root/scripts/zookeeper

grep "nohup /root/scripts/zookeeper start &" /etc/rc.local > /dev/null
if [ $? -eq 0 ]; then
    sed -i '/nohup\ \/root\/scripts\/zookeeper\ start\ \&/d' /etc/rc.local
fi
rm -r /usr/local/zookeeper-3.4.8
echo "ZOOKEEPR unstall complete!"













    





發表評論














所有評論



還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.







相關文章








Github創建文件說明






GitHub創建文件：
1：登陸賬戶；
2：新建一個分支:步驟：
a:賬戶首頁 --> 右邊有個 加號 ➕ --> New repository
Repository name： 存儲庫 名稱；
Description： 描述






 学习总不晚

2020-06-29 11:08:22









Git的初步使用 -02






Git的具體使用
安裝和配置Git
(個人使用的是Mac電腦， 當然在win7電腦中的配置也是基本一致的）
打開mac控制檯在需要存放git的目錄下： 配置郵箱和用戶名
git config --global user.nam






 学习总不晚

2020-06-29 11:08:21









SMB服務建立






1.能ping通，首要條件網卡要工作起來，即本地連接正常工作。
2.使用bridge方式，主機與虛擬機工作在同一個IP網段。
3.重啓network






 午时龙且

2020-06-29 08:30:31









Docker可視化管理工具shipyard安裝指南






前文：這幾天在做學校的實訓，擬搭建一個基於docker的快速化部署平臺並在其上面跑點應用快速遷移部署，但是遇到了一個問題，我們的開發同學不會linux。。。。這就很尷尬了，於是在網上找了下發現了這款docker可視化管理工具。但是前提條件






 一枚二白大学生

2020-06-28 19:24:17









傅里葉變換庫FFTW的安裝配置(VS2010)






FFTW 是用來計算一維或者多維的離散傅里葉變換，輸入可以爲實數序列也可以爲複數序列的C語言的子函數庫，FFTW是免費軟件，是作爲fft函數庫的各種應用的上佳選擇。
1. 從網站http://www.fftw.org/install






 圣书

2020-06-27 18:51:43









使用Pycharm連接服務器，實現代碼同步






一.目標
Pycharm軟件連接服務器，同步本地代碼到服務器
二.本地環境
Pycharm專業版（社區版沒有該功能）
三.步驟
3.1 點擊（tools->deployment->configuration）
 
3.2
 
3.3






 麻瓜藤之父

2020-06-19 16:07:38









root用戶如何安裝brew






1.1、LinuxBrew簡介
在macOS平臺上非常流行的包管理器HomeBrew被移植到GNU/Linux上而成爲LinuxBrew。
雖然各種GNU/Linux發行版都帶有自己的包管理工具，諸如apt-get、yum、dnf、zyp






 zkkzpp258

2020-06-15 07:38:35









大數據平臺部署-----ambari在線和離線安裝






一、在線編譯安裝1.1.  安裝獨立maven1.1.1.       下載Mavenwget http://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.5.2/binaries






 春梦了却了无痕

2020-06-11 09:39:26









大數據平臺--Hbase原生搭建教程






1.環境準備
centos 7.1系統
需要三臺雲主機：
master（8） 作爲 client 客戶端 slave1（9） 作爲 hive server 服務器端 slave2（10）
這是本次搭建需要用到的包
2.基礎環境搭建
首先






 一枚二白大学生

2020-06-08 14:34:16









詳細搭建Zabbix監控






安裝環境：centos7.2.1511
Zabbix版本：3.0
節點：雙節點（本機作爲實驗環境，資源有點不夠）
docker-demo1 192.168.200.128 （server）
docker-demo1 192.168.200






 一枚二白大学生

2020-06-08 14:34:16









在k8s中部署Prometheus--更新中






下載kubernetes中的Prometheus文件相關源碼
https://github.com/kubernetes/kubernetes.git
cp -rf kubernetes/cluster/addons/promet






 chang_rj

2020-06-07 07:40:48









linux使用筆記-聯網、netstat命令、查看centos版本、python3安裝、主機名修改、sz/rz命令、net-tools、文件查找、外網DNS設置






1.使用yum安裝時出現error：can’t find a valid baseurl for repo: base/7/x86_64
不能聯網
cd /etc/sysconfig/network-scripts
#找到ifcf






 chang_rj

2020-06-07 07:40:48









Error: failed to start container "prometheus-server-configmap-reload": Error response from daemon:






在配置promethethus過程中，出現問題
Error: failed to start container “prometheus-server-configmap-reload”: Error response from






 chang_rj

2020-06-07 07:40:47









從零開始實現基於calico網絡的k8s集羣部署






以三個節點爲例：
master 10.0.3.241
node01 10.0.3.242
node02 10.0.3.243
先決條件：修改三個節點的hosts
vi /etc/hosts
------
10.0.3.104 te






 chang_rj

2020-06-07 07:40:37









搭建xssplatform






 ROK7

2020-04-25 16:13:38