Kafka簡介
-
kafka 簡介
Kafka是一種高吞吐量的分佈式發佈訂閱消息系統，它可以處理消費者在網站中的所有動作流數據。 常用於日誌分析和數據的離線處理。也可以完成MQ基本的發佈訂閱功能。
kafka 安裝
- kafka 常用windows 和 Linux 系統的安裝包沒有分離可以使用統一的下載包。包名以tgz結尾。此處下載：http://kafka.apache.org/downloads。
- 此處安裝版本 kafka_2.12-2.0.0.tgz。
- windows 直接解壓，Linux 執行命令
tar -zxvf kafka_2.12-2.0.0.tgz
kafka修改配置
- 打開配置文件
vi ./kafka_2.12-1.0.1/config/server.properties
- 配置選項說明
假如沒有特別要求默認選項即可
特別要求：
- 日誌不想放入C盤,Linux可以不修改> log.dirs=D:/tmp/kafka-logs
- zookeeper 不是當前服務器 > zookeeper.connect=IP:2181
- 只想被某些IP消費 > 內網 > listeners=PLAINTEXT://localhost:9092
- 只想被某些IP消費 > 外網，內網也需要配置 listeners=PLAINTEXT://xx.xx.xx.xx:9092
- 多點集羣,Broker不同 > broker.id=0
…
Kafka 啓動
由於kafka是免安裝軟件，解壓時候直接移動到想要放軟件的目錄下即可。
此處移動到 D:/soft/ 下。
- 啓動
- 切換到安裝目錄下,到開DOS 命令窗口，切換到D:\soft\kafka_2.12-2.0.0下,bin目錄都是執行腳本文件，其中bin下是shell腳本文件，bin/widows下是bat執行文件。切換到bin/windows下，執行 kafka-server-start.bat …/…/config/server.properties
- 執行之後不能關閉窗口，否則會關閉kafka-server,如果想要Linux後臺啓動可以執行 kafka-server-start.bat -daemon …/config/server.properties,
-daemon 是啓動守護線程，即爲後臺啓動
- 啓動問題
- zookeeper保證啓動，否則會出錯
- 報錯：找不到或無法加載主類 這個是沒有找到JDK啓動。可以找到CLASSPATH配置選項,前面增加 ,; ,其次找到啓動腳本 bin目錄下
windwos/kafka-run-class.bat 下 %CLASSPATH% 增加雙引號，即爲
set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp %CLASSPATH% %KAFKA_OPTS% %*
修改爲：
set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp “%CLASSPATH%” %KAFKA_OPTS% %*