版權聲明：本文爲博主原創文章，未經博主允許不得轉載。 https://blog.csdn.net/u013177568/article/details/62432948
一、監控目標
1.當系統可能或處於亞健康狀態時及時提醒，預防故障發生
2.報警提示 a.短信方式 b.郵件
二、監控內容
2.1 機器監控
Kafka服務器指標
CPU Load
Disk IO
Memory
磁盤log.dirs目錄下數據文件大小,要有定時清除策略
2.2 JVM監控
主要監控Java的 GC time(垃圾回收時間)，JAVA的垃圾回收機制對性能的影響比較明顯
2.3 Kafka系統監控
1、Kafka總體監控
zookeeper上/XXX/broker/ids目錄下節點數量
leader 選舉頻率
2、Kafka Broker監控
kafka集羣中Broker列表,broker運行狀況,包括node下線，活躍數量
Broker是否提供服務
數據流量 流入速度，流出速度 (message / byte)
ISR 收縮頻率
3、Kafka Controller監控
controller存活數目
4、Kafka Producer監控
producer數量，排隊情況
請求響應時間
QPS/分鐘
5、Kafka Consumer監控
consumer隊列中排隊請求數
請求響應時間
最近一分鐘平均每秒請求數
6、Topic監控
數據量大小；
offset
數據流量 流入速度，流出速度 (message / byte)
3.監控指標
3.1 JVM監控
a.通過JMX獲取GC time
b.jvm full gc次數
c.通過jmx監控kafka相關參數
3.2 kafka系統監控
監控數據獲取方式
1、生存節點信息可以從zookeeper獲取
2、除生存節點 和
a、Broker是否提供服務。
b、Topic數據量大小，
c、Topic的offset 外，其他數據都可以通過JMX獲取
1.當系統可能或處於亞健康狀態時及時提醒，預防故障發生
2.報警提示 a.短信方式 b.郵件
二、監控內容
2.1 機器監控
Kafka服務器指標
CPU Load
Disk IO
Memory
磁盤log.dirs目錄下數據文件大小,要有定時清除策略
2.2 JVM監控
主要監控Java的 GC time(垃圾回收時間)，JAVA的垃圾回收機制對性能的影響比較明顯
2.3 Kafka系統監控
1、Kafka總體監控
zookeeper上/XXX/broker/ids目錄下節點數量
leader 選舉頻率
2、Kafka Broker監控
kafka集羣中Broker列表,broker運行狀況,包括node下線，活躍數量
Broker是否提供服務
數據流量 流入速度，流出速度 (message / byte)
ISR 收縮頻率
3、Kafka Controller監控
controller存活數目
4、Kafka Producer監控
producer數量，排隊情況
請求響應時間
QPS/分鐘
5、Kafka Consumer監控
consumer隊列中排隊請求數
請求響應時間
最近一分鐘平均每秒請求數
6、Topic監控
數據量大小；
offset
數據流量 流入速度，流出速度 (message / byte)
3.監控指標
3.1 JVM監控
a.通過JMX獲取GC time
b.jvm full gc次數
c.通過jmx監控kafka相關參數
3.2 kafka系統監控
監控數據獲取方式
1、生存節點信息可以從zookeeper獲取
2、除生存節點 和
a、Broker是否提供服務。
b、Topic數據量大小，
c、Topic的offset 外，其他數據都可以通過JMX獲取
<script>window._bd_share_config={"common":{"bdSnsKey":{},"bdText":"","bdMini":"2","bdMiniList":false,"bdPic":"","bdStyle":"0","bdSize":"16"},"share":{}};with(document)0[(getElementsByTagName('head')[0]||body).appendChild(createElement('script')).src='http://bdimg.share.baidu.com/static/api/js/share.js?v=89860593.js?cdnversion='+~(-new Date()/36e5)];</script>
閱讀(460) | 評論(0) | 轉發(0) |
相關熱門文章
給主人留下些什麼吧！~~
評論熱議