大數據學習——Kafka環境搭建

搭建 Kafka 0.11.0.0 環境

我使用了4臺虛擬機來搭建相對應的節點，具體情況如下：

	master	slave1	slave2	slave3
NameNode	√
SecondaryNameNode				√
DataNode		√	√	√
ResourceManage	√
NodeManage		√	√	√
Flume	√	√	√	√
ZooKeeper		√	√	√
Kafka	√	√	√

軟件版本：

• Hadoop 2.7.2
• Flume 1.7.0
• ZooKeeper 3.4.12
• Kafka 2.11-0.11.0.0

另注：我的所有軟件都安裝在 /usr/wang/ 目錄下。

安裝

1.解壓

tar -zxvf kafka_2.11-0.11.0.0.tgz

2.建立軟鏈

ln -s kafka_2.11-0.11.0.0 kafka

3.配置環境變量

sudo vim /etc/profile

# KAFKA ENVIROMENT
export KAFKA_HOME=/usr/wang/kafka
export PATH=$KAFKA_HOME/bin:$PATH

source /etc/profile

Kafka 配置

1.在 /usr/wang/kafka 下創建 logs 文件夾存放 日誌信息

cd /usr/wang/kafka
mkdir logs

2.配置 server.properties 文件

cd /usr/wang/kafka/config
vim server.properties

#broker的全局唯一編號，不能重複
broker.id=0
#刪除topic功能使能
delete.topic.enable=true
#kafka運行日誌存放的路徑
log.dirs=/usr/wang/logs
#配置連接Zookeeper集羣地址
zookeeper.connect=slave1:2181,slave2:2181,slave3:2181

集羣操作

1.分發 Kafka 到其他節點

cd /usr/wang

rsync -rvl kafka spark@slave1:/usr/wang/
rsync -rvl kafka spark@slave2:/usr/wang/

2.編輯 server.properties 文件中的 broker.id

• slave1 節點上

  broker.id=1
  

• slave2 節點上

  broker.id=2
  

簡單命令

1.啓動命令

cd /usr/wang/kafka
bin/kafka-server-start.sh config/server.properties &

其中 & 表示 Kafka 運行在後臺，若啓動時沒有加 &，可以 ctrl + z 然後輸入 bg 即可轉入後臺。