Hadoop集羣測試

一、格式化文件系統

通過前面的學習,此時還不能直接啓動集羣,因爲在初次啓動HDFS集羣時,編寫對主節點進行格式化處理,具體指令如下:

hdfs namenode -format(只需要在主節點運行即可或hadoop namenode -format)

執行以上任意一條命令若出現“successfully formatted”文字表示格式化成功,然後就可以啓動集羣了。

二、啓動和關閉Hadoop集羣

1.單個節點逐個啓動和關閉

a.在主節點運行namenode進程

hadoop-daemon.sh start namenode

b.在每個從節點運行datanode進程

hadoop-daemon.sh start datanode

c.在主節點運行yarn resourcemanger進程

yarn-daemon.sh start resourcemanager

d.在每個從節點運行yarn nodemanger進程

yarn-daemon.sh start nodemanager

e.在規劃節點hadoop02使用以下指令啓動secondarynamenode進程

hadoop-daemon.sh start secondarynamenode

運行完成以上進程命令,如何判斷是否成功?需要jps命令查看當前虛擬機進程,hadoop01是四個進程hadoop02是三個進程hadoop03是兩個進程

2.腳本一鍵啓動和關閉

(1)在主節點hadoop01上使用以下指令啓動所有HDFS服務進程:

start-dfs.sh

(2)在主節點hadoop01上使用以下指令啓動所有YARN服務進程:

start-yarn.sh

如果需要停止相關服務進程,只需要將start改爲stop即可stop-dfs.sh和stop-yarn.sh)

hadoop01 192.168.21.164

通過訪問以上IP+端口地址(50070 8088兩個端口)

http:192.168.21.164:50070
http:192.168.21.164:8088

如果沒有關閉防火牆,可能導致無法訪問,則使用以下命令關閉防火牆:

systemctl stop firewalld(三臺機器都要關閉)

如果以主機名來訪問二大集羣

http://hadoop01:50070
http://hadoop01:8088

則必須配置宿主機hosts文件在C:\Windows\System32\drivers\etc填寫如下內容:

192.168.21.164 hadoop01
192.168.21.165 hadoop02
192.168.21.166 hadoop03

持續更新中......(每天10:24準時推送,查看更多內容請在菜單欄點擊大數據技術)

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章