一、ELLA 監控需求
XMonitor監控系統( svn目錄 svn.d.xiaonei.com/hadoop/Xmonitor)
1 監控展示
- NameNode : gc_heap/load/performance/cluster/operation
- JobTracker : gc_heap/rpc/job_status/queue_status
- HMaster:
- Monitor: big_job/dead DN,dead TT/clear Log/check Point
2 監控查詢
- DataNode disk :磁盤情況,block情況
- Region server load :負載,請求數量
- User space 增量: 集羣二級目錄的HDFS使用量
2 Auto Operation 自動化運維( svn目錄 svn.d.xiaonei.com/hadoop/Operations)*
- ping :
- nnCheck
- jtCheck
- checkHDFS
- kill_job
- job_check
Ella主要分爲兩部分,一部分負責信息的抓取,一部分負責可視化展示
二、ELLA 安裝部署
1.源碼地址
2.數據庫準備
手動創建一個數據庫,然後使用sql/sql.txt中的ddl創建Ella所需要的表
3.配置文件
信息抓取程序和可視化展示的web程序都依賴conf/ella.properties配置文件
4.部署信息抓取器
1.進入minitor/目錄,使用mvn package將負責信息抓取的代碼打成一個jar包(所有依賴的jar也會打入該jar包)
2.rs_host表中添加所有RegionServer的ip地址
3.主運行類爲com.xiaonei.xmonitor.Monitor,運行該類
5.部署可視化展示Web程序
1.進入web/目錄,使用mvn package將web打成一個war包
2.將生成的war包部署到一個web服務器中
6.線上Ella部署
http://ella.d.xiaonei.com:8080/
用戶名密碼admin/admin
7.重啓
tomcat 部署在:/opt/apache-tomcat-6.0.37/bin 目錄 startup.sh
dbserver 部署在:/opt/hadoop_cluster_install/script/maintain/yz/XMonitor/DBServer/ 目錄 setup-dbserver.sh