Hadoop - Hadoop編譯

  真正生產上使用的hadoop以及組件都是源碼編譯得到的，這樣做好處就是有一些功能可以定製化，有一些bug可以自己修復，方便兼容性問題的解決。

一、工具的依賴

  hadoop編譯依賴jdk、maven，findbugs，protobuf和其他組件。jdk安裝到/usr/java中，mysql的博客中有講解，下面講解Maven的安裝部署。

1.1 Maven 解壓部署

  Maven使用的是apache-maven-3.3.9-bin.zip

1、切換到目錄 /opt/software/中
cd /opt/software/
2、解壓
unzip apache-maven-3.3.9-bin.zip
3、配置環境變量 /etc/profile
export MVN_HOME=/opt/software/apache-maven-3.3.9
export PATH=$MVN_HOME/bin:$PATH
4、生效
source /etc/profile
5、檢測
mvn --version

1.2 Maven 本地倉庫配置

  Maven通過網絡下載到本地的倉庫jar包來提供Maven項目的使用。默認的倉庫爲~/.m2中

1、公司有.m2的本地倉庫包，就直接解壓使用
tar -zxvf .m2.tar.gz
2、更改.m2中文件所屬對象
chown -R root:root .m2

1.3 findbugs部署

  findbugs是工具類，只要部署好，環境變量配置好就可以了。

1、解壓到/opt/software/中
unzip findbugs-1.3.9.zip
2、配置環境變量 /etc/profile
export FINDBUGS_HOME=/opt/software/findbugs-1.3.9
export PATH=$FINDBUGS_HOME/bin:$PATH
3、生效
source /etc/profile
4、檢測
findbugs -version

1.4 protobuf部署

  protobuf需要編譯，不想其他包一樣。

1、解壓 /opt/software/
tar -zxvf protobuf-2.5.0.tar.gz
2、更改文件所屬
chown -R root:root protobuf-2.5.0
3、安裝編譯protobuf需要的組件
yum install -y gcc gcc-c++ make cmake
4、配置編譯環境 安裝到/usr/local/protobuf
./configure --prefix=/usr/local/protobuf
5、編譯安裝
make && make install
6、配置環境變量 /etc/profile
export PROTOC_HOME=/usr/local/protobuf
export  PATH=$PROTOC_HOME/bin:$PATH
7、生效
source /etc/profile
8、檢測
protoc --version

1.5 其他組件

其他組件就統一使用yum源安裝
yum install -y openssl openssl-devel svn ncurses-devel zlib-devel libtool
yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop autoconf automake

二、編譯Hadoop

2.1 解壓hadoop Source文件

1、解壓文件到/opt/software/
tar -zxvf hadoop-2.8.1-src.tar.gz
2、更改所屬對象
chown -R root:root hadoop-2.8.1-src

2.2 編譯hadoop源碼

1、進入目錄
cd hadoop-2.8.1-src
2、編譯Maven項目
mvn clean package -Pdist,native -DskipTests -Dtar

2.3 編譯結果

編譯結果，gz包位置：
/opt/software/hadoop-2.8.1-src/hadoop-dist/target/hadoop-2.8.1.tar.gz