Hadoop CDH5 手動安裝僞分佈式模式

CDH5已經使用了Hadoop2.2.0

重新弄個虛擬機重頭裝一下

由於Cloudera強烈建議使用rmp包或者apt-get的方式安裝，一時半刻我都沒有找到手動安裝的說明，在安裝的遇到多個問題，稍作記錄

首先環境要求

         JDK1.7_u25+

         Maven3.0.5

         protoc2.5

         cmake

         ant

         zlib1g-dev

在安裝完protocbuf後無法正常運行protoc命令，報錯

protoc: error while loading shared libraries: libprotoc.so.8: cannot open shared object file: No such file or directory

解決方案是在make install後再執行一句sudo ldconfig

修改配置文件

etc/hadoop/core-site.xml

        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost</value>
        </property>

etc/hadoop/hdfs-site.xml

        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/username/src/cdh5/hadoop/hdfs</value>
        </property>
        <property>
                <name>dfs.namenode.http-address</name>
                <value>localhost:50070</value>
        </property>

        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>localhost:50090</value>
        </property>

etc/hadoop/yarn-site.xml

  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>

  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>

  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>

然後format，啓動start-all.sh

啓動僞分佈式模式碰到的第一個問題是找不到JAVA_HOME

原因是啓動命令調用sbin/slaves.sh腳本，這個腳本中有使用ssh遠程調用其他機器的命令

在這種情況下bashrc中的設置環境變量的語句沒有被執行，原因是bashrc中第一句語句（[ -z "$PS1" ] && return）會判斷調用模式是否是交互式模式，如果是非交互式模式則直接退出，所以寫在下面的語句都沒有被執行，解決方法有兩個

1.是把設置JAVA_HOME的語句寫在bashrc文件的最前面

2.是修改etc/hadoop/hadoop-evn.sh中的export JAVA_HOME=${JAVA_HOME}，不要使用系統的環境變量賦值，直接改成絕對路徑

修改完後再次啓動成功

使用jps會看到所有的進程

3536 ResourceManager
3116 DataNode
2900 NameNode
3378 SecondaryNameNode
3755 NodeManager
2168 Jps

使用hadoop fs -ls 查看文件系統的時候會遇到報錯

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

原因是缺少libhadoop.so文件

在src目錄或者hadoop-common子項目中重新build，命令：mvn package -DskipTests -Pdist,native,docs -Dtar

再次遇到報錯[ERROR] class file for org.mortbay.component.AbstractLifeCycle not found

這次是遇到BUG了按照https://issues.apache.org/jira/browse/HADOOP-10110官方說明在hadoop-common-project/hadoop-auth/pom.xml文件中添加

    <dependency>
       <groupId>org.mortbay.jetty</groupId>
       <artifactId>jetty-util</artifactId>
       <scope>test</scope>
    </dependency>

再次編譯遇到報錯Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.6:run (make) on project hadoop-common:

這是沒有安裝zlib1g-dev的關係，這個可以 使用apt-get安裝

最後把生成的.so文件全部拷貝到lib/native/目錄下，再次運行hadoop fs -ls沒有報錯信息