hadoop2.9.2源碼編譯

 

1、環境準備

       centos7 、maven-3.6.1、jdk1.8.0、apache-ant-1.9.9 、 protobuf-2.5.0、 hadoop-2.9.2-src

        將maven-3.6.1、jdk1.8.0、apache-ant-1.9.9 、 protobuf-2.5.0的壓縮包下載好，解壓到指定的目錄其中protobuf-2.5.0需要重新 編譯

      安裝gcc編譯器和make構建：

yum install glibc-headers
yum install gcc-c++
yum install make
yum install cmake

   編譯protobuf

./configure 
make 
make check 
make install 
ldconfig 

    安裝openssl庫

yum install openssl-devel
yum install ncurses-devel

將上述編譯工具添加到環境變量中

  解壓hadoop源碼，進入源碼目錄，執行編譯命令

 mvn package -Pdist,native -DskipTests -Dtar

編譯可能遇到的問題

解決：下載亞馬遜jar包，安裝到本地maven倉庫

wget https://s3-us-west-2.amazonaws.com/dynamodb-local/release/com/amazonaws/DynamoDBLocal/1.11.86/DynamoDBLocal-1.11.86.jar


mvn install:install-file -Dfile=DynamoDBLocal-1.11.86.jar -DgroupId=com.amazonaws -DartifactId=DynamoDBLocal -Dversion=1.11.86 -Dpackaging=jar

編譯後的hadoop壓縮包位置