背景:
CDH集羣管理界面不提供Kafka具體的狀態監控,需要自己安裝相關工具,我們選擇比較經典的yahoo開源工具 kafka-manager,搭配 kafka tool客戶端工具使用。這裏簡單介紹下安裝過程 ~
一、下載
直接在GitHub官網下載即可:https://github.com/yahoo/kafka-manager
需要注意的一點:
由於我們集羣是0.11版本,完美支持。如果你使用的是Kafka 2.0+版本,我看到test包裏有 Upgrade to kafka 2.2.0 commit,應該也支持新版本。
二、安裝
下載tar包 kafka-manager-1.3.3.22.tar.gz 在服務器解壓即可。
由於該工具是scala編寫,需要sbt編譯。如果還沒安裝sbt則需要安裝:
yum install sbt
這裏有的服務器需要更改鏡像倉庫文件,但我發現我們服務器直接就能安裝不需要改。。
sbt-version
安裝完可以查看版本信息,判斷是否安裝好
然後cd到解壓後的kafka-manager目錄下編譯:
./sbt clean dist
編譯kafka-manager,需要等很久。。
重新解壓編譯好的 kafka-manager-1.3.3.22.zip(在target目錄裏) 查看:
修改配置文件 conf/application.conf ,主要是zkhosts配置爲自己zookeeper集羣地址:
三、運行
執行運行命令,指定配置文件和web端口:
nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=9090 &
運行後jps查看進程:
可以在瀏覽器輸入IP或主機名 + 9090端口查看web界面:
添加我們的Kafka集羣信息:
我安裝的這個manager版本不支持查看topic具體消息,我一般搭配kafka tool客戶端工具查看具體信息,這個直接在本地電腦下載安裝即可: