傻瓜式Hadoop 集羣部署

傻瓜式Hadoop集羣部署（資料來自網上並經過本人整理）

Hadoop編譯篇：

一.Hadoop下載

1.在Hadoop官網上下載hadoop-2.7.2的源碼包，下載地址：http://mirrors.noc.im/apache/hadoop/common/hadoop-2.7.2/hadoop-2.7.2-src.tar.gz 
2. 把下載下來的源碼包，上傳到linux上，在這裏我放在了/home/soft/下

二.準備linux上運行環境 

1. 上傳jdk、ant、maven、protobuf等到到linux上，在這裏我放在了/home/soft/下 
2. 安裝jdk 
使用命令：rpm -ivh jdk-7u67-linux-x64.rpm 
安裝完後配置環境變量，修改/etc/profile文件，命令：vi/etc/profile 
在最後添加內容： 
export JAVA_HOME=/usr/Java/jdk1.7.0_67/ 
export PATH=$PATH:$JAVA_HOME/bin
使用命令生效：source /etc/profile 
測試：java -version 
3.安裝maven 
解壓maven到/opt/目錄下，並配置環境變量 
解壓命令：tar -zxvf apache-maven-3.3.9-bin.tar.gz -C /opt/ 
修改/etc/profile文件，在文件末尾新增下面兩行內容： 
export MAVEN_HOME=/opt/apache-maven-3.3.9 
export PATH=$PATH:$MAVEN_HOME/bin 
使用命令生效：source /etc/profile 

測試命令：mvn -v
4.安裝g++ 
安裝命令：yum -y install gcc gcc-c++ 
5.安裝protobuf 
解壓protobuf到當前目錄 
解壓命令：tar -zxvf protobuf-2.5.0.tar.gz 
cd protobuf-2.5.0/ 
編譯安裝 
$ ./configure

$ make

$ make check

$ make install

配置環境變量，修改/etc/profile文件，末尾添加下面兩行內容： 
export PROTOBUF_HOME=/opt/protobuf-2.5 
export PATH=$PATH:$PROTOBUF_HOME/bin 
使用命令生效：source /etc/profile 

驗證安裝成功：protoc --version
6.安裝openssl 
安裝命令：yum -y install openssl-devel 
7.安裝cmake 點擊打開鏈接
安裝命令：yum -y install cmake 
8.安裝ant 
解壓ant到/opt/目錄下，並配置環境變量 
解壓命令：tar -zxvf apache-ant-1.9.7-bin.tar.gz -C /opt/ 
修改/etc/profile文件，在文件末尾新增下面兩行內容： 
export ANT_HOME=/opt/apache-ant-1.9.7/ 
export PATH=$PATH:$ANT_HOME/bin 
使用命令生效：source /etc/profile

三.編譯 

1.解壓hadoop-2.7.2 tar包 
解壓命令：tar -zxvfhadoop-2.7.2-src.tar.gz 
2.編譯 
cd hadoop-2.7.2-src 
編譯命令：mvn package -Pdist,native-DskipTests -Dtar 
3.編譯成功並查看 
編譯完成後，在hadoop-dist/target/目錄下查看，會有hadoop-2.7.2.tar.gz這個文件 

四.問題總結 

1.編譯過程中會報各種錯，可以直接終止編譯，在重新執行編譯，多執行幾次就可以了，一般都是因爲網絡原因jar包下載有問題或maven倉庫連接超時等原因，我共執行了5次就成功了。在說明下，我在用root用戶執行編譯的，如果用其他的用戶編譯可能會存在權限問題。

2.Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:compile錯誤呀，很可能是你jdk版本太低或者 JAVA_HOME變量配置錯了，還有可能是再次清理編譯一遍就可以了命令是：mvn clean 然後再運行編譯就好啦

3.centos 自帶的jdk編譯hadoop 也會出2的錯誤那麼就要你卸載自帶的openjdk 重新安裝官網上的jdk了方法參照http://whttp://fangwei009.blog.51cto.com/5234706/1673275ww.cnblogs.com/sixiweb/archive/2012/11/25/2787684.html

CentOS安裝JAVA後JAVA版本不對的問題 http://fangwei009.blog.51cto.com/5234706/1673275

 

Hadoop詳細部署鏈接

Hadoop 部署精簡版：