64bit Centos6.4編譯hadoop-2.5.1

64bit Centos6.4編譯hadoop-2.5.1

 

1、說明

      a)       由於從apache下載下來的tar.gz包是用32 bit編譯的，所有如果用Linux 64作爲hadoop的平臺，將會出現一些問題，所以需要手動的編譯成64 bit

2、軟件準備

   a)       JDK jdk1.7.0_51
   b)       Hadoophardoop-2.5.1-src.tar.gz
   c)       Maven   apache-maven-3.0.5-bin.zip
   d)       Protobufprotobuf-2.5.0.tar.gz

3、編譯環境要求

   a)       Centos64 bit
   b)       JDK1.6+
   c)       Maven3.0 or later
   d)       ProtocolBuffer2.5.0
   e)       CMake 2.6 or newer (if compilingnative code)
   f)       Zlib devel (if compiling native code)
   g)       openssldevel ( if compiling native hadoop-pipes )

4、環境安裝

a)  JDK

    下載jdk-7u51-linux-x64.tar.gz（http://yunpan.cn/cAfDyMykH4RyX（提取碼：540f））

    解壓到/opt/soft/jdk1.7.0_51

    編輯/etc/profile

    在/etc/profile裏面增加      

   #set javaenvironment
   JAVA_HOME=/opt/soft/jdk1.7.0_51
   PATH=$JAVA_HOME/bin:$PATH
   CLASSPATH=.:JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
   export JAVA_HOME
   export PATH
   export CLASSPATH

  更新配置文件source /etc/profile

  檢查java是否安裝正確 java –version

b)  安裝必要環境

   yum install -y g++ gcc gcc-c++ autoconf automake libtoolcmake zliblg-dev pkg-conf libssl-dev openssh-client make mcurses-devel

c)  安裝protobuf

  下載protobuf-2.5.0.tar.gz（http://yunpan.cn/cAfDmbdZrM7WF （提取碼：7678））

  解壓到/opt/soft/protobuf-2.5.0

   cd protobuf-2.5.0
   ./configure --prefix=/usr/local/protoc/
   make
   make install

 編輯/etc/profile

    在/etc/profile裏面增加   

   exportPATH=.:/usr/local/protoc/bin:$PATH

   更新配置文件source /etc/profile

   驗證 protoc –version    libprotoc 2.5.0

d)  安裝Maven

  下載apache-maven-3.0.5-bin.zip（http://yunpan.cn/cAfDFwyuZB3Dt（提取碼：cdd8））

  解壓到/opt/soft/apache-maven-3.0.5

  編輯/etc/profile

    在/etc/profile裏面增加   

   export MAVEN_HOME=/opt/soft/apache-maven-3.0.5
   export PATH=.:$MAVEN_HOME/bin:$PATH

  更新配置文件source /etc/profile

  驗證 mvn -version

5、編譯Hadoop

cd /opt/soft/hadoop-2.5.1-src
mvn package –DskipTests –Pdist,native

  當所有編譯完成出現BUILD SUCCESS

  編譯好多hadoop在/opt/soft/hadoop-2.5.1-src/hadoop-dist/target下面，文件夾爲hadoop-2.5.1,就可以用該文件來做hadoop在centos 64bit下面的搭建