把hadoop的metrics加入ganglia監控

hadoop的metrics加入ganglia其實是很簡單的,但網絡上都是copy,而且文檔新舊不一,居然還折騰了一會,太out了。

hadoop版本1.0.3,ganglia版本3.1.2,以下是主要步驟:

1. 修改hadoop/conf/hadoop-metrics2.properties文件

*.sink.file.class=org.apache.hadoop.metrics2.sink.FileSink
*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31

*.sink.ganglia.period=10

*.sink.ganglia.supportsparse=true

*.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both
*.sink.ganglia.dmax=jvm.metrics.threadsBlocked=70,jvm.metrics.memHeapUsedM=40

namenode.sink.ganglia.servers=239.2.11.71:8649

datanode.sink.ganglia.servers=239.2.11.71:8649

jobtracker.sink.ganglia.servers=239.2.11.71:8649

tasktracker.sink.ganglia.servers=239.2.11.71:8649

maptask.sink.ganglia.servers=239.2.11.71:8649

reducetask.sink.ganglia.servers=239.2.11.71:8649


這裏有疑惑的是,開始我把以上IP改成NN,JT等這些機器對應ip,ganglia界面死活顯示不了hadoop的監控信息,後來還是使用這個239.2.11.71:8649默認地址就行,不管這個ip是否自己的。

補充:239.2.11.71這個是ganglia默認的多播地址,在gmond.conf中設置,如果之前安裝的ganglia是配置成集羣中某臺機器作爲單播的統一收集機器,則這裏的ip也要隨之更改。

2. 重啓hadoop集羣
發佈了62 篇原創文章 · 獲贊 1 · 訪問量 7320
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章