appache版本hadoop重新編譯
資料：
鏈接：https://pan.baidu.com/s/1UiLcUSZgptZnrWhW96sA5g
提取碼：4j6a
1爲什麼要編譯hadoop
由於appache給出的hadoop的安裝包沒有提供帶C程序訪問的接口，所以我們在使用本地庫（本地庫可以用來做壓縮，以及支持C程序等等）的時候就會出問題,需要對Hadoop源碼包進行重新編譯.
2編譯環境的準備
已經編譯好提供在資料裏面，有興趣可以根據下面步驟進行編譯。
2.1：準備linux環境
準備一臺linux環境，內存4G或以上，硬盤40G或以上，我這裏使用的是Centos6.9 64位的操作系統（注意：一定要使用64位的操作系統）
2.2：虛擬機聯網，關閉防火牆，關閉selinux
關閉防火牆命令：
service iptables stop
chkconfig iptables off
關閉selinux
vim /etc/selinux/config
2.3：安裝jdk1.7
注意hadoop-2.7.5 這個版本的編譯，只能使用jdk1.7，如果使用jdk1.8那麼就會報錯
查看centos6.9自帶的openjdk
rpm -qa | grep java
將所有這些openjdk全部卸載掉
rpm -e java-1.6.0-openjdk-1.6.0.41-1.13.13.1.el6_8.x86_64 tzdata-java-2016j-1.el6.noarch java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el6_8.x86_64
注意：這裏一定不要使用jdk1.8，親測jdk1.8會出現錯誤
將我們jdk的安裝包上傳到/export/softwares（我這裏使用的是jdk1.7.0_71這個版本）
解壓我們的jdk壓縮包
統一兩個路徑
mkdir -p /export/servers
mkdir -p /export/softwares
cd /export/softwares
tar -zxvf jdk-7u71-linux-x64.tar.gz -C ../servers/
配置環境變量
vim /etc/profile
export JAVA_HOME=/export/servers/jdk1.7.0_71
export PATH=:$JAVA_HOME/bin:$PATH
讓修改立即生效
source /etc/profile
2.4：安裝maven
這裏使用maven3.x以上的版本應該都可以，不建議使用太高的版本，強烈建議使用3.0.5的版本即可
將maven的安裝包上傳到/export/softwares
然後解壓maven的安裝包到/export/servers
cd /export/softwares/
tar -zxvf apache-maven-3.0.5-bin.tar.gz -C ../servers/
配置maven的環境變量
vim /etc/profile
export MAVEN_HOME=/export/servers/apache-maven-3.0.5
export MAVEN_OPTS="-Xms4096m -Xmx4096m"
export PATH=:$MAVEN_HOME/bin:$PATH
讓修改立即生效
source /etc/profile
解壓maven的倉庫
tar -zxvf mvnrepository.tar.gz -C /export/servers/
修改maven的配置文件
cd /export/servers/apache-maven-3.0.5/conf
vim settings.xml
指定我們本地倉庫存放的路徑
添加一個我們阿里雲的鏡像地址，會讓我們下載jar包更快
<mirror>
<id>alimaven</id>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
<mirrorOf>central</mirrorOf>
</mirror>
2.5：安裝findbugs
解壓findbugs
tar -zxvf findbugs-1.3.9.tar.gz -C ../servers/
配置findbugs的環境變量
vim /etc/profile
export JAVA_HOME=/export/servers/jdk1.7.0_75
export PATH=:$JAVA_HOME/bin:$PATH
export MAVEN_HOME=/export/servers/apache-maven-3.0.5
export PATH=:$MAVEN_HOME/bin:$PATH
export FINDBUGS_HOME=/export/servers/findbugs-1.3.9
export PATH=:$FINDBUGS_HOME/bin:$PATH
讓修改立即生效
source /etc/profile
2.6：在線安裝一些依賴包
yum install autoconf automake libtool cmake
yum install ncurses-devel
yum install openssl-devel
yum install lzo-devel zlib-devel gcc gcc-c++
bzip2壓縮需要的依賴包
yum install -y bzip2-devel
2.7：安裝protobuf
解壓protobuf並進行編譯
cd /export/softwares
tar -zxvf protobuf-2.5.0.tar.gz -C ../servers/
cd /export/servers/protobuf-2.5.0
./configure
make && make install
2.8、安裝snappy
cd /export/softwares/
tar -zxf snappy-1.1.1.tar.gz -C ../servers/
cd ../servers/snappy-1.1.1/
./configure
make && make install
2.9：編譯hadoop源碼
對源碼進行編譯
cd /export/softwares
tar -zxvf hadoop-2.7.5-src.tar.gz -C ../servers/
cd /export/servers/hadoop-2.7.5
編譯支持snappy壓縮：
mvn package -DskipTests -Pdist,native -Dtar -Drequire.snappy -e -X
編譯完成之後我們需要的壓縮包就在下面這個路徑裏面
/export/servers/hadoop-2.7.5/hadoop-dist/target