http://bbs.itcast.cn/thread-17487-1-1.html
、硬件環境1、windows7旗艦版64位
2、VMwareWorkstationACE版6.0.2
3、RedhatLinux5
4、Hadoop-1.2.0
Windows | VM | [url=]虛擬機器Linux[/url] | IP | 作用 |
Window7 64位 | VMwareWorkstation | Redhat1 | 192.168.24.250 | NameNode、master、jobTracker |
Redhat2 | 192.168.24.249 | DataNode、slave、taskTracker | ||
Redhat3 | 192.168.24.248 | DataNode、slave、taskTracker |
三、安裝VMwareWorkstation和RedhatLinux5
1、VMwareWorkstation和RedhatLinux5的安裝,網上到處都是,我也是在網上隨便找的,你可以找寫得更詳細準確的,這裏不再贅述,可參考:
注:當你在虛擬機上安裝完一個Linux後,不要重複安裝步驟,使用虛擬機帶的克隆功能,可以很容易複製出多臺一模一樣的Linux。
可參考:
完成這一步驟後的效果
四、安裝配置Hadoop
1、安裝hadoop前先配置Linux
(1)更改三臺機器的網絡連接方式
選中要更改的虛擬機,右擊-設置(Settings)
(2)以root用戶登錄Linux,設置IP地址和默認網關(三臺機器都要設置)
輸入vi/etc/sysconfig/network-scripts/ifcfg-eth0,(vi的使用不再贅述,不懂自己網上查)修改該文件內容爲:
DEVICE=eth0
BOOTPROTO=static
IPADDR=192.168.24.250
GATEWAY=192.168.27.254
NETMASK=255.255.255.0
ONBOOT=yes
IP地址和默認網關根據自己需要進行設置
(3)配置虛擬機的主機名(三臺機器都要設置)
輸入vi/etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=yes
HOSTNAME=redhat1
(4)配置主機名與ip地址的對應關係(三臺機器都要設置)
輸入vi/etc/hosts
127.0.0.1localhost
192.168.24.250redhat1
192.168.24.249redhat2
192.168.24.248redhat3
這是標準內容。去掉多餘的,否則可能出現Hadoop在master查看livenodes爲0
(5)關閉防火牆(三臺機器都要設置)
輸入chkconfigiptablesoff開機不啓動防火牆
輸入serviceiptablesstop關閉當前防火牆服務
當然也可以設置防火牆對hadoop放行,爲了簡單起見,我這裏就直接關閉防火牆了。
(6)測試網絡是否聯通
設置完成之後,在每臺虛擬機之間執行ping命令,保證虛擬機之間網絡沒有問題
如:ping192.168.24.249
2、建立linux之間ssh無密碼登錄
到此爲止,鋪墊工作算是做完了。
3、安裝和配置JDK(三臺機器都要安裝)
4、安裝hadoop(三臺機器都要安裝)
(1)到hadoop官網下載hadoop1.2.0
(2)使用ftp上傳到linux,如果不懂,可以參考我的文章:
(3)解壓安裝
進入hadoop-1.2.0.tar.gz所在的目錄
輸入:
tar-zvxfhadoop-1.2.0.tar.gz
即安裝完畢
5、配置Hadoop(三臺機器都要設置)
(1)配置hadoop環境變量
和設置jdk環境變量一樣
命令:vi/etc/profile
在文件最後輸入:
exportHADOOP_HOME=/usr/local/hadoop-1.2.0
exportPATH=$PATHHADOOP_HOME/bin
執行命令source/etc/profile使profile生效
(2)配置hadoop運行參數
更改hadoop安裝路徑下/conf/hadoop-env.sh的文件(三臺機器都要設置)
第9行加入exportJAVA_HOME=/usr/java/jdk1.7.0_21
更改hadoop安裝路徑/conf/masters和slaves兩個文件。(只配置192.168.24.250虛擬機)
masters中輸入:192.168.24.250
slaves中輸入:
192.168.24.249
192.168.24.248
配置hadoop安裝路徑/conf/core-site.xml、hdfs-site.xml和mapred-site.xml三個文件。(三臺機器都要設置)
core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.24.250:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp</value>
</property>
</configuration>
hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.24.250:9001</value>
</property>
</configuration>
(3)格式化文件系統
命令:Hadoopnamenode–format
至此hadoop已經安裝配置完畢了。
五、測試
1、啓動hadoop
在192.168.24.250機器上執行如下指令,啓動hadoop安裝目錄bin下:
Start-all.sh
對於hadoop來說,啓動所有進程是鼻血的,但是如果有必要,你依然可以只啓動HDFS(start-dfs)或MapReduce(start-mapred.sh)
Web瀏覽器監視HDFS文件系統狀態和MAPREDUCE執行任務的情況。
HDFS文件系統
2、運行hadoop自帶的wordcount示例
依次執行命令:
echo“Itisadog”>input1
echo"itisnotadog">input2
hadoopfs-mkdirinput
hadoopfs-copyFromLocal/root/input*input
hadoopjar/usr/local/hadoop-1.2.0/hadoop-examples-1.2.0.jarwordcountinputoutput
可以查看運行狀態
查看運行結果
至此全部成功!
六、總結
利用多臺虛擬機模擬的hadoop集羣環境基本搞定,剩下的就是根據需要再做詳細的配置了。如果要移植到物理存在的機器上,只需把虛擬機上的安裝方式直接搬過去用就可以了。
接下來,還會繼續出一篇文章介紹eclipse連接遠程hadoop集羣進行開發,其中也涉及一些比較麻煩的問題,不過幸好都解決了,馬上整理出來,期待吧。