Hadoop集羣環境的搭建

我們一般使用hadoop都會在虛擬機上面，所以我針對的都是在虛擬機上的hadoop集羣。

準備階段

1,：將原來搭建的hadoop單機版環境的虛擬機拷貝一份(詳細信息http://blog.csdn.net/fullyfang/article/details/9391835).

2：準備兩臺服務器，如下：

機器名 IP地址作用

hadoop.main 192.168.0.105 運行 NameNode，JobTracker，DataNode，TaskTracker

hadoop.slave 192.168.0.104 運行 DataNode，TaskTracker

注：IP地址的和用戶名的設置根據自己實際情況而定且兩臺主機必須使用相同的用戶名運行hadoop

實踐階段

3：修改主機的名稱輸入 vi /etc/hostname，將hostname修改爲hadoop.main 按x保存後退出。

再輸入：vi /etc/hosts修改網絡，輸入：

192.168.0.105 hadoop.main localhost

192.168.0.104 hadoop.slave（我的是redhat，可能不同的linux顯示數據不一樣，視具體情況而定），按x保存後退出。

4：修改另一臺服務器的主機名

vi /etc/hostname，將hostname修改爲hadoop.slave 按x保存後退出。

再輸入：vi /etc/hosts修改網絡，輸入：

192.168.0.105 hadoop.main

192.168.0.104 hadoop.slave localhost ，按x保存後退出。

5：修改2臺主機的core-site.xml，配置HDFS的地址和端口號
vi conf/core-site.xml

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop.main:9000</value>
</property>
</configuration>

6：修改2臺主機的MapReduce的配置文件，配置的是JobTracker的地址和端口
vi conf/mapred-site.xml

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop.main:9001</value>
</property>
</configuration>

7，修改2臺主機中的hadoop配置文件masters，輸入vi /home/hadoop/cof/masters
輸入：hadoop.main，按x保存後退出。

8，修改2臺主機中的hadoop配置文件slaves，輸入vi /home/hadoop/cof/slaves
hadoop.main
hadoop.slave，按x保存後退出。

9：在haddop.main節點中的hadoop安裝目錄下運行
bin/hadoop namenode -format

10：啓動hadoop
bin/start-all.sh

注：5—9步兩臺機器的配置和操作是一樣的。

上述步驟完成之後，在瀏覽器中輸入：http://localhost:50070/ 後打開hdfs頁面

點擊Live Nodes 。