Dr Elephant（HIVE JOB監控調優）安裝使用

一、簡單介紹

Dr.elephant是一款對Hadoop和Spark任務進行性能監控和調優的工具

• 官方介紹
• github地址
• 安裝文檔(Must-Read)

二、安裝中注意的問題

1、編譯失敗，測試用例通不過

可把 test 刪了，再重新編譯

2、初始化時，執行mysql建表語句，索引長度太長報錯

報錯信息：Specified key was too long; max key length is 3072 bytes
解決方法（減少索引長度）：

# vim ~/dr-elephant-2.1.7/conf/evolutions/default/1.sql

create index yarn_app_result_i4 on yarn_app_result (flow_exec_id(100));
create index yarn_app_result_i5 on yarn_app_result (job_def_id(100));
create index yarn_app_result_i6 on yarn_app_result (flow_def_id(100)); 

# vim ~/dr-elephant-2.1.7/conf/evolutions/default/5.sql
CREATE TABLE IF NOT EXISTS flow_definition (
 ...
  UNIQUE KEY flow_definition_u1 (flow_def_id(100))
) ENGINE=InnoDB AUTO_INCREMENT=10000;

CREATE TABLE IF NOT EXISTS job_definition (
  ...
  UNIQUE KEY job_definition_u1 (job_def_id(100)) ,
) ENGINE=InnoDB AUTO_INCREMENT=100000;

create index index_je_job_exec_id on job_execution (job_exec_id(100));
create index index_je_job_exec_url on job_execution (job_exec_url(100)); 

三、頁面展示

待優化JOB提醒

待優化的數據詳情 （最大使用內存 539M，但是申請了4G的內存）

4、具體測量指標定義

hadoop作業監控dr-elephant啓發式算法詳解