Hadoop CDH5 手动安装伪分布式模式

CDH5已经使用了Hadoop2.2.0

重新弄个虚拟机重头装一下

由于Cloudera强烈建议使用rmp包或者apt-get的方式安装，一时半刻我都没有找到手动安装的说明，在安装的遇到多个问题，稍作记录

首先环境要求

         JDK1.7_u25+

         Maven3.0.5

         protoc2.5

         cmake

         ant

         zlib1g-dev

在安装完protocbuf后无法正常运行protoc命令，报错

protoc: error while loading shared libraries: libprotoc.so.8: cannot open shared object file: No such file or directory

解决方案是在make install后再执行一句sudo ldconfig

修改配置文件

etc/hadoop/core-site.xml

        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost</value>
        </property>

etc/hadoop/hdfs-site.xml

        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/username/src/cdh5/hadoop/hdfs</value>
        </property>
        <property>
                <name>dfs.namenode.http-address</name>
                <value>localhost:50070</value>
        </property>

        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>localhost:50090</value>
        </property>

etc/hadoop/yarn-site.xml

  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>

  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>

  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>

然后format，启动start-all.sh

启动伪分布式模式碰到的第一个问题是找不到JAVA_HOME

原因是启动命令调用sbin/slaves.sh脚本，这个脚本中有使用ssh远程调用其他机器的命令

在这种情况下bashrc中的设置环境变量的语句没有被执行，原因是bashrc中第一句语句（[ -z "$PS1" ] && return）会判断调用模式是否是交互式模式，如果是非交互式模式则直接退出，所以写在下面的语句都没有被执行，解决方法有两个

1.是把设置JAVA_HOME的语句写在bashrc文件的最前面

2.是修改etc/hadoop/hadoop-evn.sh中的export JAVA_HOME=${JAVA_HOME}，不要使用系统的环境变量赋值，直接改成绝对路径

修改完后再次启动成功

使用jps会看到所有的进程

3536 ResourceManager
3116 DataNode
2900 NameNode
3378 SecondaryNameNode
3755 NodeManager
2168 Jps

使用hadoop fs -ls 查看文件系统的时候会遇到报错

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

原因是缺少libhadoop.so文件

在src目录或者hadoop-common子项目中重新build，命令：mvn package -DskipTests -Pdist,native,docs -Dtar

再次遇到报错[ERROR] class file for org.mortbay.component.AbstractLifeCycle not found

这次是遇到BUG了按照https://issues.apache.org/jira/browse/HADOOP-10110官方说明在hadoop-common-project/hadoop-auth/pom.xml文件中添加

    <dependency>
       <groupId>org.mortbay.jetty</groupId>
       <artifactId>jetty-util</artifactId>
       <scope>test</scope>
    </dependency>

再次编译遇到报错Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.6:run (make) on project hadoop-common:

这是没有安装zlib1g-dev的关系，这个可以 使用apt-get安装

最后把生成的.so文件全部拷贝到lib/native/目录下，再次运行hadoop fs -ls没有报错信息