點擊鏈接 http://blog.csdn.net/ijia1 訪問我的博客,學習更多hadoop知識。
由於實踐部分主要以Hadoop 1.0環境爲主,所以這主要介紹如何搭建Hadoop 1.0分佈式環境。
整個分佈式環境運行在帶有linux操作系統的虛擬機上,至於虛擬機和linux系統的安裝這裏暫不做過多介紹。
安裝Hadoop分佈式環境:
1)下載Hadoop安裝包:
在鏈接:http://pan.baidu.com/s/1bo4t07d 密碼:m98p 地址中可以找到hadoop-1.2.1-bin.tar.gz文件
使用securtCRT的rz功能上傳hadoop-1.2.1-bin.tar.gz這個文件到虛擬機的系統中。
同樣在securtcrt中ll時,能得到
2)安裝Hadoop安裝包:
首先將安裝包解壓縮:
Linux終端執行cd進入相應目錄:
新增tmp目錄,mkdir /home/hadoop/hadoop-1.2.1/tmp
3)配置Hadoop:
使用vim修改master文件內容:
將localhost修改成master:
最後保存退出。
修改slaves文件
注意,這裏準備設置幾臺slave機器,就寫幾個,因爲當前分佈式環境有四個虛擬機,一臺做master,三臺做slave,所以這裏寫成了三個slave
修改core-site.xml文件:
【注意】中間的ip地址,不要輸入192.168.2.55,根據自己的情況設置。
修改mapred-site.xml文件:
【注意】記得value的內容要以http開頭。
修改hdfs-site.xml文件:
其中,<value>3</value>視情況修改,如果有三臺slave機器,這裏設置成3,如果只有1臺或2臺,修改成對應的值即可。
修改hadoo-env.sh文件
在
下新增export JAVA_HOME=/home/hadoop/jdk1.6.0_45/
修改本地網絡配置:編輯/etc/hosts文件
【注意】Ip地址根據具體的情況要進行修改。
4)複製虛擬機
關閉當前虛擬機,並複製多份
【注意】要選擇初始化所有網卡的mac地址
根據自己需求,複製2到3臺虛擬機作爲slave,同樣要確認網絡連接方式爲橋接。
設置所有機器的IP地址
分別啓動虛擬機,修改機器的ip 地址,在虛擬機的圖形界面裏,選擇設置單擊打開,在彈出來的窗口裏,選擇
打開,修改成如下的形式,選擇ipv4 ,分配方式選擇成manual。
【注意】具體的ip地址,根據實際的情況來設置,因爲培訓教室裏都是192.168.2.x的網段,所以我這裏設置成了192.168.2.x,每個人選擇自己的一個ip地址範圍,注意不要和其它人衝突了。
5)建立互信關係
生成公私鑰,在master機器的虛擬機命令行下輸入ssh-keygen,一路回車,全默認
複製公鑰
複製一份master的公鑰文件,cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
同樣,在所有的slave機器上,也在命令行中輸入ssh-keygen,一路回車,全默認
在所有的salve機器上,從master機器上覆制master的公鑰文件:
測試連接
在master機器上分別向所有的slave機器發起聯接請求:
如:ssh slave1
【注意】記得一旦聯接上,所有的操作,就視同在對應的slave上操作,所以一定要記得使用exit退出聯接。
6)啓動Hadoop:
初始化:在master機器上,進入/home/hadoop/hadoop-1.2.1/bin目錄
在安裝包根目錄下運行./hadoop namenode –format來初始化hadoop的文件系統。
啓動
執行./start-all.sh,如果中間過程提示要判斷是否,需要輸入yes
輸入jps,查看進程是否都正常啓動。
如果一切正常,應當有如上的一些進程存在。
7)測試系統
輸入./hadoop fs –ls /
能正常顯示文件系統。
如此,hadoop系統搭建完成。否則,可以去/home/hadoop/hadoop-1.2.1/logs目錄下,查看缺少的進程中,對應的出錯日誌。
此時,你已經把hadoop環境搭建好了,下一篇文章將給大家介紹什麼是HDFS文件系統,HDFS又能做什麼呢?
點擊鏈接 http://blog.csdn.net/ijia1 訪問我的博客,學習更多hadoop知識。