【Hadoop大數據平臺組件搭建系列（四）】——Kafka組件配置

簡介

本篇介紹Hadoop大數據平臺組件中Kafka組件的搭建（需提前配置好Zookeeper集羣）

• 使用軟件版本信息
  kafka_2.11-1.0.0.tgz（百度雲提取碼：1usv）

Kafka安裝與配置

解壓並配置環境變量

解壓kafka壓縮包

 tar -zxvf /opt/software/kafka_2.11-1.0.0.tgz -C /usr/local/scr/

修改環境變量

 vi /etc/profile

添加環境變量

 #.....kafka.....
export KAFKA_HOME=/usr/local/scr/kafka
export PATH=$PATH:$KAFKA_HOME/bin

使環境變量生效

source /etc/profile

進入{KAFKA_HOME}/config目錄下修改配置文件 server.properties

在server.properties 配置文件中註釋下面內容

#broker.id=0
#zookeeper.connect=localhost:2181

在文件最後添加以下內容，broker.id 每個節點需不同，listeners中IP地址與節點IP地址相對應

broker.id=1
zookeeper.connect=192.168.200.1:2181,192.168.200.2:2181,192.168.200.3:2181
listeners=PLAINTEXT://192.168.200.1:9092

拷貝分發

拷貝分發時記得修改其他節點的 server.properties 配置內容與之對應

scp -r /usr/local/scr/kafka/ master2:/usr/local/scr/

驗證安裝是否成功

啓動Zookeeper，集羣都要啓動

zkServer.sh start

啓動Kafka，集羣都要啓動

kafka-server-start.sh -daemon /usr/local/scr/kafka/config/server.properties 

使用 jps 命令查看kafka進程是否啓動成功

創建topic

kafka-topics.sh --create --zookeeper 192.168.200.1:2181 --replication-factor 1 --partitions 1 --topic test

查看topic，再其他節點上也可以查看其他節點上創建的topic信息

kafka-topics.sh --list --zookeeper 192.168.200.1:2181

創建發佈 (退出 Ctrl+C)

kafka-console-producer.sh --broker-list 192.168.200.1:9092 --topic test

創建消費

kafka-console-consumer.sh --bootstrap-server 192.168.200.1:9092 --topic test --from-beginning

最後，記得點贊哦！！！ღ( ´･ᴗ･` )比心！！！

系列文章：

【Hadoop大數據平臺組件搭建系列】——Hadoop完全分佈式搭建（基於CentOS7.4） 一站式解決！！！
【Hadoop大數據平臺組件搭建系列（三）】——Hive組件配置
【Hadoop大數據平臺組件搭建系列（四）】——Kafka組件配置
【Hadoop大數據平臺組件搭建系列（五）】——MySQL組件配置（tar源碼安裝）
【Hadoop大數據平臺組件搭建系列（六）】——Spark完全分佈式組件配置
【Hadoop大數據平臺組件搭建系列（七）】——HBase完全分佈式組件配置