電商用戶行爲分析大數據平臺相關係列5-KAFKA安裝

1、Scala安裝

1.1、下載、解壓

1.2、配置環境變量（/etc/profile或者~/.bashrc），環境變量生效

1.3、驗證是否安裝成功

scala -version

1.4、其他服務器安裝

• 通過scp拷貝scala減壓目錄
• 通過scp拷貝~/.bashrc文件
• 登錄服務器，生效環境變臉配置

2、Kafka安裝

### 2.1、下載、解壓

2.2、配置Kafka

vim $KAFKA_HOME/config/server.properties

##修改如下信息
broker.id=0
zookeeper.connect=192.168.31.137:2181,192.168.31.138:2181,192.168.31.139:2181

其中broker.id中值最好與上一篇Zookeeper安裝中myid一致。

zookeeper.connect用於配置zookeeper服務地址，因爲kafka底層是依賴zookeeper的。

2.3、上傳slf4j-nop-1.76.jar

• 下載slf4j-1.7.6.zip並減壓
• 找到slf4j-nop-1.7.6.jar複製到$KAFKA_HOME/libs下
  該步驟不明白是什麼意思，可能是爲了kafka日誌輸出吧

2.4、使用SCP將kafka拷貝到其他兩臺機器

2.5、修改其他機器的server.properties中broker.id,分別設置爲1和2.

2.6、啓動服務

分別在三臺服務器執行

nohup $KAFKA_HOME/bin/kafka-server-start.sh $KAFKA_HOME/config/server.properties &

2.7、檢驗是否成功

分別在三臺服務器上執行jps命令，查看是否有kafka進程

2.8、測試kafka

開啓兩個命令窗口，分別執行

## 在第一個窗口創建消息隊列
$KAFKA_HOME/bin/kafka-topics.sh --zookeeper 192.168.31.137:2181,192.168.31.138:2181,192.168.31.139:2181 --topic TestTopic --replication-factor 1 --partitions 1 --create
## 在相同窗口創建生產者客戶端
$KAFKA_HOME/bin/kafka-console-producer.sh --broker-list 192.168.31.137:9092,192.168.31.138:9092,192.168.31.139:9092 --topic TestTopic
## 在第二個窗口創建生產者消費者客戶端
$KAFKA_HOME/bin/kafka-console-consumer.sh --zookeeper 192.168.31.137:2181,192.168.31.138:2181,192.168.31.139:2181 --topic Tespic --from-beginning

此時在生產者客戶端輸入信息，點擊回車，消費者客戶端同時產生響應。
（由於有道雲筆記的markdown無法直接粘貼截圖，不能截圖展示效果）

3、可能遇到異常處理

1. ERROR Producer connection to 192.168.31.138:9092 unsuccessful (kafka.producer.SyncProducer

該問題最終查到原因是另外兩臺服務器中的broker.id沒有做響應修改導致。
- kafka Unrecognized VM option ‘UseCompressedOops’問題

這個問題是視頻中部署遇到問題，由jdk版本不兼容導致，具體修改方法：

vim $KAFKA_HOME/bin/kafka-run-class.sh 
## 1、找到對應位置
if [ -z "$KAFKA_JVM_PERFORMANCE_OPTS" ]; then
  KAFKA_JVM_PERFORMANCE_OPTS="-server  -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true"
fi
## 2、去掉-XX:+UseCompressedOops即可

註釋：本文中所有$KAFKA_HOME表示本人自己在各個服務器的KAFKA安裝路徑

該系列筆記：
1. 電商用戶行爲分析大數據平臺相關係列1-環境介紹
2. 電商用戶行爲分析大數據平臺相關係列2-HADOOP環境搭建
3. 電商用戶行爲分析大數據平臺相關係列3-HIVE安裝
4. 電商用戶行爲分析大數據平臺相關係列4-ZOOKEEPER安裝
5. 電商用戶行爲分析大數據平臺相關係列5-KAFKA安裝
6. 電商用戶行爲分析大數據平臺相關係列6-flume安裝
7. 電商用戶行爲分析大數據平臺相關係列7-spark安裝