windows系統flumeng+kafka+storm搭建實時計算平臺

1.簡介


flume-ng      1.8.0（單點）
kafka         2.12(單點)
kafkamanager  1.3.3.17
storm         1.1.1(集羣)
依賴項         jdk1.8
zookeeper集羣  參考前面的文章(集羣)


2.下載，解壓到d盤


flumeng          鏈接: https://pan.baidu.com/s/1Pgj26BIezdkBVLvbs0QKHg 密碼: 2d4c
kafka            鏈接: https://pan.baidu.com/s/1xbC18YT7PNxe3iL4lbqAww 密碼: emmt
kafkamanager     鏈接: https://pan.baidu.com/s/1kW46sfdQ2df7-OrijkfCZg 密碼: ujz3
storm            鏈接: https://pan.baidu.com/s/1t6RGFDlw-tDoOHlAGuYu5w 密碼: zi66


3.設置環境變量


flumeng            flumeng180
flumenghome        D:\apache-flume-1.8.0-bin\apache-flume-1.8.0-bin-1\bin\my
kafka              kafka212100
kafkahome          D:\kafka_2.12-1.0.0\kafka_2.12-1.0.0-1\bin\windows\my
kafkamanager       kafkamanager13317
kafkamanagerhome   D:\kafka-manager-1.3.3.17\bin


4.設置flume配置和bat文件


flume配置文件，放到conf下
鏈接: https://pan.baidu.com/s/1v47ROwAvnpwHwGN-asQ-mw 密碼: 94qb


flume-kafka集成jar包，放到lib下
鏈接: https://pan.baidu.com/s/1jdFJzQ0WMTLkIuFKaz1Jjg 密碼: mqj8


flume安裝成服務bat文件，my目錄放到bin目錄下
鏈接: https://pan.baidu.com/s/1FseFjIRiI9DUZvzCUrh-4A 密碼: ttc5




執行startwithmonitor.bat安裝flumeng服務，並啓動


5.設置kafka和storm的數據日誌目錄


D盤新建如下目錄


D:\tmp\kafka-1-logs
D:\tmp\storm1
D:\tmp\storm2
D:\tmp\storm3


6.設置kafkamanger


conf下修改application.conf
kafka-manager.zkhosts="10.168.100.102:2181,10.168.100.102:2182,10.168.100.102:2183"


下載bat文件放到bin下
鏈接: https://pan.baidu.com/s/1hmBvk_mSADF4XxpEOClWkQ 密碼: j564


7.設置kafka


config\server.properties編輯如下項
log.dirs=/tmp/kafka-1-logs
zookeeper.connect=10.168.100.102:2181,10.168.100.102:2182,10.168.100.102:2183




下載並放到bin\windows\my下
鏈接: https://pan.baidu.com/s/1jVDhRgL12Z55CofK5HA4Rg 密碼: h4e7


8.啓動kafka，和kafkamanager


執行install.bat 和 createtipic.bat啓動kafka
執行install.bat啓動kafkamanager


訪問  http://localhost:9000/   kafkamanager管理地址


可以嘗試telnet 127.0.0.1 6666命令，向flumeng寫數據，觀察kafkamanager


9.解壓storm，目錄結構如下


D:\apache-storm-1.1.1\apache-storm-1.1.1-1   nimbus節點
D:\apache-storm-1.1.1\apache-storm-1.1.1-2   supervisor節點
D:\apache-storm-1.1.1\apache-storm-1.1.1-3    supervisor節點


10.配置1.1.1-1


下載log4j2,覆蓋掉默認的配置文件，默認的有問題，打印不了日誌
鏈接: https://pan.baidu.com/s/1c_GGLjJ_GLXyy6Xm9hP-qw 密碼: fu2w


下載storm.yaml，反倒conf目錄下
鏈接: https://pan.baidu.com/s/1W01NRFm_ybnmeIA3YQmR3A 密碼: m3jj


下載kafka-storm集成包，bat文件放到彬目錄下
鏈接: https://pan.baidu.com/s/1qlzu-DfNjf3fZNm_UxAxcQ 密碼: d5nt






11.配置1.1.1-2


和節點1類似
鏈接: https://pan.baidu.com/s/1TWk1dblMJfmQJ4m4eSIqzg 密碼: 743m


12.配置1.1.1-3


和節點1類似
鏈接: https://pan.baidu.com/s/1n5brwTSmoQVy_pMCb3iqKw 密碼: 3him


12.啓動nimbus，ui，和supervisor


在節點1bin目錄下執行nimbus.bat，確認啓動成功後
執行節點2，節點3下面的supervisor.bat,確認啓動成功後
節點1下執行ui.bat,打開storm的web監控頁  ，http://127.0.0.1:18080/
節點1下執行submitTopology.bat，提交拓撲結構


d：\kafkaresult.text是字符統計結果
D:\autohomestormlog4j2是執行日誌


13.節點1中的jar包默認啓動的是內存拓撲，下面的jar包是kafka作爲數據源的拓撲，覆蓋掉即可


鏈接: https://pan.baidu.com/s/1GsZ2ckO6L7mY1G3VuUU8pQ 密碼: 5cfs


至此，fluemeng + kafka + strom 集成完畢
可以嘗試telnet 127.0.0.1 6666 向flumeng寫數據，
flume通過自定義flumekafka的集成jar包push到kafka， 
storm通過自定義kafkastorm的集成jar包從kafka訂閱數據消費計數


在storm ui可以觀察拓撲的執行狀態