hadoop部署安裝

共有2臺機器，均使用的centos5.7系統，Java使用的是jdk1.7.0。IP配置如下：
centos1：10.0.9.101
centos2：10.0.9.102
這裏有一點需要強調的就是，務必要確保每臺機器的主機名和IP地址之間能正確解析。

一個很簡單的測試辦法就是ping一下主機名，比如在centos1上ping centos2，如果能ping通就OK！若不能正確解析，可以修改/etc/hosts文件，如果該臺機器作Namenode用，則需要在hosts文件中加上集羣中所有機器的IP地址及其對應的主機名；如果該臺機器作Datanode用，則只需要在hosts文件中加上本機IP地址和Namenode機器的IP地址。

以本文爲例，centos1中的/etc/hosts文件看起來就應該是這樣的：
127.0.0.0         localhost    
10.0.9.101     centos1       
10.0.9.102     centos2       
centos2中的/etc/hosts文件看起來就應該是這樣的：
127.0.0.0         localhost    
10.0.9.101     centos1      
10.0.9.102     centos2       

對於Hadoop來說，在HDFS看來，節點分爲Namenode和Datanode，其中Namenode只有一個，Datanode可以是很多；在MapReduce看來，節點又分爲Jobtracker和Tasktracker，其中Jobtracker只有一個，Tasktracker可以是很多。
我是將namenode和jobtracker部署在centos1上，centos1和centos2作爲datanode和tasktracker。當然你也可以將namenode，datanode，jobtracker，tasktracker全部部署在一臺機器上（就像centos1）。

jdk環境配置

官網下載適合自己的jdk

http://www.oracle.com/technetwork/java/javase/downloads/java-se-jdk-7-download-432154.html

爲了簡單下載一個rpm包

 

jdk-7-linux-x64.rpm

rpm -ivh jdk-7-linux-x64.rpm

查看/usr/目錄就有java目錄了

配置環境變量

#vim /etc/profile

在profile文件下面追加寫入下面信息：

export JAVA_HOME=/usr/java/jdk1.7.0
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

 

是配置文檔生效

source /etc/profile

目錄結構

這裏務必以新建用戶grid登陸，保證hadoop目錄及子目錄屬主爲grid一個人（如果既有root又有grid以後會出現很多錯誤）
由於Hadoop要求所有機器上hadoop的部署目錄結構要相同，並且都有一個相同的用戶名的帳戶。
我的三臺機器上是這樣的：都有一個grid的帳戶，主目錄是/home/grid
Hadoop部署目錄結構如下：/home/grid/HadoopInstall，所有的hadoop版本放在這個目錄中。
將hadoop0.20.204壓縮包解壓至HadoopInstall中，爲了方便以後升級，建議建立一個鏈接指向要使用的hadoop版本，不妨設爲hadoop
[grid@centos1:HadoopInstall]$ln  -s  hadoop0.20.204 hadoop
這樣一來，所有的配置文件都在/home/grid/HadoopInstall/hadoop/conf/目錄中，所有執行程序都在hadoop/bin目錄中。
但是由於上述目錄中hadoop的配置文件和hadoop的安裝目錄是放在一起的，這樣一旦日後升級hadoop版本的時候所有的配置文件都會被覆蓋，因此建議將配置文件與安裝目錄分離，一種比較好的方法就是建立一個存放配置文件的目錄，/home/grid/HadoopInstall/hadoop-conf/，然後將hadoop/conf/目錄中的core-site.xml,hdfs-site.xml,mapred-site.xml,master，slaves，hadoop_env.sh六個文件拷貝到hadoop-conf/目錄中，並指定環境變量$HADOOP_CONF_DIR指向該目錄。環境變量在/home/grid/.bashrc或/etc/profile中設定。

export $HADOOP_CONF_DIR=/home/grid/HadoopInstall/hadoop/hadoop-conf
綜上所述，爲了方便以後升級版本，我們需要做到配置文件與安裝目錄分離，並通過設定一個指向我們要使用的版本的hadoop的鏈接，這樣可以減少我們對配置文件的維護。在下面的部分，你就會體會到這樣分離以及鏈接的好處了。

這裏的目錄和鏈接結構比較亂，我在說明一下

家目錄/home/grid

下面有一個放hadoop各版本的目錄HadoopInstall,比如示例版本hadoop0.20.204即

/home/grid/HadoopInstall/hadoop0.20.204