chukwa安裝

1 下載 wget http://mirror.bit.edu.cn/apache/incubator/chukwa/chukwa-0.5.0/chukwa-incubating-0.5.0.tar.gz

2 解壓 tar -zxvf chukwa-incubating-0.5.0.tar.gz

3設置環境變量

export CHUKWA_HOME=/home/hadoop/chukwa-incubating-0.5.0

export CHUKWA_CONF_DIR=/home/hadoop/chukwa-incubating-0.5.0/conf
export PATH=$PATH:$CHUKWA_HOME/bin
 4 copy文件
cp /home/hadoop/chukwa-incubating-0.5.0/etc/chukwa/hadoop-metrics.properties  /home/hadoop/hadoop-1.1.0/conf
 cp /home/hadoop/chukwa-incubating-0.5.0/share/chukwa/chukwa-0.5.0-client.jar /home/hadoop/hadoop-1.1.0/share/hadoop/lib
 cp /home/hadoop/chukwa-incubating-0.5.0/share/chukwa/lib/json-simple-1.1.jar /home/hadoop/hadoop-1.1.0/share/hadoop/lib
 cp chukwa-0.5.0.jar $HADOOP_HOME/lib

cp /home/hadoop/chukwa-incubating-0.5.0/share/chukwa/chukwa-0.5.0-client.jar /home/hadoop/hadoop-1.1.0/lib

修改 HADOOP_CONF_DIR/log4j.properties,   用 SocketAppender: 替換 DRFA appender  如下：
    log4j.appender.DRFA=org.apache.log4j.net.SocketAppender
    log4j.appender.DRFA.RemoteHost=localhost
    log4j.appender.DRFA.Port=9096
    log4j.appender.DRFA.layout=org.apache.log4j.PatternLayout
    log4j.appender.DRFA.layout.ConversionPattern=%d{ISO8601} %p %c: %m%n
保存文件

修改

/home/hadoop/chukwa-incubating-0.5.0/etc/chukwa/chuwka-env.sh 

export HADOOP_HOME=/home/hadoop/hadoop-1.1.0
export JAVA_HOME=/home/hadoop/jdk1.6.0_13
export HADOOP_CONF_DIR=/home/hadoop/hadoop-1.1.0/conf
export HBASE_HOME=/home/hadoop/hbase-0.94.2
export HBASE_CONF_DIR=/home/hadoop/hbase-0.94.2/conf

修改CHUKWA_HOME/etc/chukwa/collectors 

可以啓動一個或者多個collector

格式：

http://ip:port

或者ip (默認端口8080)

CHUKWA_HOME/etc/chukwa/agents

每個hadoop節點需要啓動一個agent

格式：

http://ip:port

或者ip (默認端口9093)

PS:chukwa collector默認在8080端口監聽。
agent默認在9093端口監聽

 5 
重啓你的 Hadoop Cluster.
 

6保證 hbase安裝

hbase shell < $CHUKWA_HOME/etc/chukwa/hbase.schema

7保證 pig 安裝

配置

export PIG_CLASSPATH=$HADOOP_CONF_DIR:$HBASE_CONF_DIR
 
export HBASE_CONF_DIR=/home/hadoop/hbase-0.94.2/conf
export HBASE_HOME=/home/hadoop/hbase-0.94.2


export PIG_INSATLL=/home/hadoop/pig-0.10.0
export PATH=$PATH:$PIG_INSATLL/bin


export PIG_HADOOP_VERSION=100
export PIG_CLASSPATH=$HADOOP_HOME/conf/
export PIG_PATH=/home/hadoop/pig-0.10.0

執行腳本

jar cf $CHUKWA_HOME/hbase-env.jar  $HBASE_CONF_DIR 
pig -Dpig.additional.jars=${HBASE_HOME}/hbase-0.94.2.jar:${HBASE_HOME}/lib/zookeeper-3.4.3.jar:${PIG_PATH}/pig-0.10.0.jar:${CHUKWA_HOME}/hbase-env.jar /home/hadoop/chukwa-incubating-0.5.0/share/chukwa/script/pig/ClusterSummary.pig

 
8 運行 collector
bin/chukwa collector

運行agent

bin/chukwa agent

或者在單點啓動所有節點

sbin/start-agents.sh
sbin/start-collectors.sh
9 驗證是否成功

telnet   9096 ()

10 啓動hicc

 bin/chukwa hicc

 http://nn4:4080/hicc/ 
登陸admin/admin

錯誤檢查：日誌在  /tmp/chukwa/log下
 


 

常見問題：

1  版本不一致問題，無法寫入hbase

 HBaseWriter - java.lang.IllegalArgumentException: Not a host:port pair:

解決方案：

chukwa hbase版本不對

把hbase-*.jar 替換 到chukwa /share/chukwa/lib和hicc.war裏面的WEB-INF/lib下。

 2 WidgetBean - java.lang.NullPointerException

解決方案：
hdfs://...:9000/chukwa/hicc/widgets  下有disabled刪除即可

 

3

org.apache.jasper.compiler.PageInfo<init> 方法找不到

jasper-compiler-5.5.23.jar

jasper-runtime-5.5.12.jar

用上述版本替換到hicc.war中即可