詳細Hadoop的安裝過程

1、在VMware Workstation中安裝了CentOS.把網絡連接設置成：僅主機模式：與主機共享的專用網絡。

***注意：你宿主機(即：你原來的電腦)中不要把VM中網卡禁用了。***

2、啓動Linux系統，建議使用root用戶登錄這樣就可以不用考慮權限不夠的問題，節省時間。

      手動配置Linux中的IP地址、網關、子網掩碼。首先在cmd中輸入命令:ipconfig 查看下宿主機的VMware Network Adapter VMnet1的IP信息。

此時，你打開你Linux系統的網絡連接，在IPv4設置中選擇手動。配置如下： 其中網關要設置成和宿主機的IP地址一致。

配置完IP地址這些信息後就輸入命令：service network restart 重新啓動下網絡服務，輸入命令：ifconfig查看下ip地址信息看是否修改了。

驗證方式：分別在Windows下ping Linux的IP  在Linux下ping Windows的IP 看是否ping通。成功後即可下一步。

3、修改主機名，將主機名和IP地址進行綁定

輸入命令：hostname 查看當前的主機名

輸入命令：vi  /etc/sysconfig/network 按i鍵進入INSERT模式，修改HOSTNAME=改成你想要的主機名  （這裏我修改爲：hadoop）

修改完成後，先按Esc 鍵，然後輸入:wq回車即可，保存退出。

輸入命令：vi  /etc/hosts 按i鍵進入INSERT模式，不要修改文件中的內容，在空的地方輸入 IP地址  主機名即可，完成後，

先按Esc 鍵，然後輸入:wq回車即可，保存退出。然後輸入命令：reboot 重啓下。

驗證：ping hadoop 看是否ping通.若成功即可下一步。

4、關閉防火牆

關閉防火牆命令：service iptables stop 此時，雖然關閉了防火牆，但是遇到某種情況時，防火牆還是會自動啓動的。因此，我們還需要把自動啓動防火牆也一併關閉掉。輸入關閉防火牆自動啓動命令：chkconfig iptables off  

完成後你可以輸入命令：chkconfig --list | grep iptables 查看防火牆是否已經全部關閉了。

5、配置SSH(secure shell)免密碼登陸

輸入命令：ssh-keygen -t rsa 通過rsa算法產生ssh的key，都不用輸入密碼，一直回車即可。

輸入命令：cp ~/.ssh/id_rsa.pub  ~/.ssh/authorized_keys    將產生的key全部複製到authorized_keys中

驗證方式：ssh localhost 

6、安裝jdk（這裏我使用的jdk是：jdk-6u24-linux-i586.bin）

在安裝我們的jdk之前需要把系統自帶的jdk卸載了。

輸入命令：rpm -qa | grep gcj 

顯示下面這兩條信息

java-1.4.2-gcj-compat-1.4.2.0-27jpp

java.1.4.2-gcj-compat-devel-1.4.2.0-27jpp 

雖然不同版本的Linux下系統自帶的jdk也是有差別的，但是卸載方式都是一樣。

卸載命令：rpm -e java.1.4.2-gcj-compat-devel-1.4.2.0-27jpp 

  rpm -e java-1.4.2-gcj-compat-1.4.2.0-27jpp

輸入 rpm -qa | grep jdk

顯示下面這兩條信息

java-1.6.0-openjdk-1.6.0.0-1.66.1.13.el6.x86_64

java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64

卸載命令：rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.el6.x86_64

  rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64

下面進行安裝jdk

我把jdk放在了/root/downloads目錄下，因此，我要先進去到該目錄下，把jdk移動到/usr/local目錄下輸入命令：

mv jdk--6u24-linux-i586.bin /usr/local/

進入到/usr/local目錄下，執行解壓縮

解壓縮jdk命令：./jdk--6u24-linux-i586.bin

由於解完壓縮jdk文件的名稱太長了，我就重命名爲jdk。輸入命令：mv jdk 1.6.0_24  jdk 即可。

配置java環境變量：輸入命令： vi /etc/profile 在profile文件下添加下面兩條信息，不需要修改profile文件中的任何內容

export JAVA_HOME = /usr/local/jdk

export PATH = .:$JAVA_HOME/bin:$PATH

修改完成後，先按Esc 鍵，然後輸入:wq回車即可，保存退出。

輸入立即生效的命令：source /etc/profile

驗證方式：輸入命令：java-version 

 

完成了上面這麼多的準備工作，下面終於可以安裝hadoop了

我採取的是hadoop僞分佈模式安裝，你需要有hadoop的包，我的是：hadoop-1.1.2.tar.gz

我把hadoop放在了/root/downloads目錄下，因此，我要先進去到該目錄下，把hadoop移動到/usr/local目錄下輸入命令：

mv hadoop-1.1.2.tar.gz /usr/local/

進入到/usr/local目錄下，執行解壓縮

解壓縮hadoop命令：tar -zxvf hadoop-1.1.2.tar.gz

由於解完壓縮hadoop文件的名稱太長了，我就重命名爲hadoop。輸入命令：mv hadoop-1.1.2  hadoop即可。

設置hadoop的環境變量：輸入命令：vi /etc/profile 添加下面的信息

   export HADOOP_HOME = /usr/local/hadoop

前面設置的PATH變量是：export PATH = .:$JAVA_HOME/bin:$PATH 修改如下：

  export PATH = .:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH 

修改hadoop配置文件 在$HADOOP_HOME/conf目錄下

第一個是hadoop環境變量腳本文件：hadoop-env.sh

修改第九行的代碼，修改如下：export JAVA_HOME = /usr/local/jdk

保存並且關閉，這裏設置的是JAVA_HOME，注意去掉前面的“#”。

第二個是hadoop核心配置文件：core-site.xml

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://你的主機名:9000</value>
        <description>change your own hostname</description>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>  
</configuration>

第三個是hdfs配置文件：hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

第四個MapReduce配置文件：mapred-site.xml

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>你的主機名:9001</value>
        <description>change your own hostname</description>
    </property>
</configuration>

修改了以上四個文件後，然後對hadoop進行格式化，輸入命令：hadoop namenode -format  注意：多次格式化hadoop會報錯，此時，將/usr/local/hadoop/tmp文件夾刪除，再格式就可以了。

啓動hadoop命令：statr-all.sh

驗證命令：jps

就這樣hadoop就安裝完畢了。這只是在一臺虛擬機中安裝hadoop而已，你可以多開幾個虛擬機，搭建一個hadoop集羣也是可以的。