1.kafka-manager介紹
爲了簡化開發者和服務工程師維護Kafka集羣的工作,yahoo構建了一個叫做Kafka管理器的基於Web工具,叫做 Kafka Manager。這個管理工具可以很容易地發現分佈在集羣中的哪些topic分佈不均勻,或者是分區在整個集羣分佈不均勻的的情況。它支持管理多個集羣、選擇副本、副本重新分配以及創建Topic。同時,這個管理工具也是一個非常好的可以快速瀏覽這個集羣的工具,有如下功能:
1.管理多個kafka集羣
2.便捷的檢查kafka集羣狀態(topics,brokers,備份分佈情況,分區分佈情況)
3.選擇你要運行的副本
4.基於當前分區狀況進行
5.可以選擇topic配置並創建topic(0.8.1.1和0.8.2的配置不同)
6.刪除topic(只支持0.8.2以上的版本並且要在broker配置中設置delete.topic.enable=true)
7.Topic list會指明哪些topic被刪除(在0.8.2以上版本適用)
8.爲已存在的topic增加分區
9.爲已存在的topic更新配置
10.在多個topic上批量重分區
11.在多個topic上批量重分區(可選partition broker位置)
2.安裝配置
kafka-manager只是一個kafka集羣的管理工具,所以我們只需要在一臺機器上安裝即可,選擇資源比較充足的機器安裝.我選擇的是node01節點.
1.環境要求
1.jdk 1.8
2.三臺kafka集羣
3.系統centos 7
2.下載kafka-manage的zip包
3.安裝包上傳01節點
//1.安裝zip unzip壓縮和解壓縮工具
[root@node01 ~]# yum install -y zip unzip
//2.解壓kafka-manager 到/opt目錄下
[root@node01 ~]# unzip kafka-manager-1.3.1.6.zip -d /opt/
4.配置kafka-manager
使用Notepad++連接01節點修改其conf下的application.conf文件
3.啓動kafka-manager
//kafka-manager 默認的端口是9000,可通過 -Dhttp.port,指定端口; -#Dconfig.file=conf/application.conf指定配置文件:
//nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=8080 &
[root@node01 kafka-manager-1.3.1.6] nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=8080 &
//啓動後使用netstat命令查看端口是否啓動,啓動的過程需要一段時間,端口啓動會有一定的延遲多嘗試幾次
[root@node01 kafka-manager-1.3.1.6] yum install net-tools //安裝一下netstat
[root@node01 kafka-manager-1.3.1.6] netstat -ano|grep 8080
tcp6 0 0 :::8080 :::* LISTEN off (0.00/0/0)
You have new mail in /var/spool/mail/root
4.訪問kafka-manager
5.查看kafka集羣
如下圖,點擊cluster1就可以看到如右側的界面,在界面的最頂端出現cluster,最下方看到集羣的概況,有一個主題,3個broker.