【零基礎】CentOS 7 64位系統下編譯Hadoop2.7.0

因爲官網下載下來的Hadoop安裝包是x86，32位的，64位需要自己編譯。

編譯環境

操作系統：CentOS 7 64位（需要連接互聯網）

Hadoop源代碼版本：hadoop-2.7.0-src.tar.gz

1、安裝基本應用

yum -y install  svn   ncurses-devel   gcc*

yum -y install lzo-devel zlib-devel autoconf    automake    libtool    cmake     openssl –devel

2、安裝JDK

JDK版本：JDK-8u45（隨便下載rpm或者tar壓縮包）

運行安裝JDK

rpm -ivh jdk-8u45-linux-x64.rpm

設置JAVA環境

vim /etc/profile

添加以下代碼

#set java environmen
export JAVA_HOME=/usr/java/jdk1.8.0_45/
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

使環境生效

source /etc/profile

檢驗JAVA環境是否生效

java -version

2、安裝protobuf-2.5.0.tar.gz

下載鏈接：http://pan.baidu.com/s/1dDgWe6P 密碼：xgiu

解壓縮

tar zxvf protobuf-2.5.0.tar.gz

進入該目錄

cd protobuf-2.5.0

運行檢測

./configure

編譯

make

安裝

make install

檢驗是否安裝成功

protoc --version

3、安裝maven

下載apache- maven- 3.2.3- bin.tar.gz
解壓縮

tar   zxvf   apache- maven- 3.2.3- bin.tar.gz

配置環境變量 /etc/profile

export MAVEN_HOME=/usr/local/program/maven/ apache- maven- 3.2.3
export PATH=$PATH:$MAVEN_HOME/bin 

使環境變量生效

source /etc/profile

檢驗是否安裝成功

mvn -version

4、安裝ant

下載apache-ant-1.9.4-bin.tar.gz

解壓縮

添加環境變量/etc/profile

export ANT_HOME=/home/joywang/apache-ant-1.9.4
export PATH=$PATH:$ANT_HOME/bin

使環境變量生效

source /etc/profile

檢驗是否安裝成功

ant -version

5、編譯Hadoop

mvn package -Pdist,native -DskipTests -Dtar

或者使用

mvn clean package –Pdist,native –DskipTests –Dtar

編譯成功如下圖所示：

編譯好的文件放在/hadoop-dist/target/hadoop-2.7.0.tar.gz

6、FAQ （這部分有些error我沒有親測，可能會有問題）

【ERROR】Cannot run program “cmake”(in...

提示在make的時候錯誤。

這是因爲沒有安裝cmake的原因。

注：在其他平臺編譯是會提示complie出錯，而你又已經安裝了cmake，那麼估計在CMakeCache.txt文件中的JAVA相關的東西沒有找到。修改JAVA相關信息。

這部分寫的不詳細，我也沒有時間去搜集其他錯誤，可能有不對的地方。

7、參考文獻：

1、Hadoop完整安裝配置

2、從零教你在Linux環境下（ubuntu 12.04）如何編譯hadoop2.4

3、64位操作系統下重新編譯hadoop-2.2.0