kafka eagle安裝與使用

1.概述

在開發工作當中，在使用 Kafka 集羣進行消息的生產和消費時，數據的變動以及topic的管理是我們所關心的內容，這就要求一套行之有效的監控管理體系。常見的kafka監控軟件有4種如下所示

• Kafka Web Conslole ：監控功能較爲全面，可以預覽消息，監控Offset、Lag等信息，但存在bug，不建議在生產環境中使用。
• Kafka Manager：偏向Kafka集羣管理，若操作不當，容易導致集羣出現故障。對Kafka實時生產和消費消息是通過JMX實現的。沒有記錄Offset、Lag等信息。
• KafkaOffsetMonitor：程序一個jar包的形式運行，部署較爲方便。只有監控功能，無管理功能，使用起來也較爲安全。
• Kafka Eagle：用於監控 Kafka 集羣中 Topic 被消費的情況。包含 Lag 的產生，Offset 的變動，Partition 的分佈，Owner ，Topic 被創建的時間和修改的時間等信息。同時可以對topic進行管理。

[ Kafka Eagle下載地址 ]

2.Kafka Eagle使用配置

將下載好的Kafka Eagle壓縮包FTP至服務器並解壓。筆者使用的是1.1.3版本，在1.1.4版本中添加了系統權限管理，需要配置mysql來存儲信息。

1.進入Kafka Eagle目錄，進入conf目錄修改system-config.properties配置文件內容如下

# multi zookeeper&kafka cluster list
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=10.8.120.25:2181

# zk limit
kafka.zk.limit.size=25

# kafka eagel webui port
kafka.eagel.webui.port=8048

# kafka offset storage
kafka.eagle.offset.storage=kafka

# kafka rpc port
kafka.eagle.offset.rpc.port=4396

# Delete kafka topic token
kafka.eagle.topic.token=cas.kafkaeagle

2.進入Kafka Eagle目錄，進入bin目錄

chmod +x ke.sh
./ke.sh start

3.輸入http://ip:8048/ke/，當進入以下界面，說明配置成功

4.然後就可以進行管理了

3.總結

Kafka Eagle 的安裝與使用都很簡介，需配置好 Kafka 集羣所屬的 Zookeeper 集羣地址。本文參考資料如下:

• [ 哥不是小蘿莉 的博客園 ]
• [ Kafka Eagle 使用說明文檔 ]

4.結語

本文由筆者自行編寫，如有錯誤，還請諸位同仁指正。