一、格式化文件系統
通過前面的學習,此時還不能直接啓動集羣,因爲在初次啓動HDFS集羣時,編寫對主節點進行格式化處理,具體指令如下:
hdfs namenode -format(只需要在主節點運行即可或hadoop namenode -format)
執行以上任意一條命令若出現“successfully formatted”文字表示格式化成功,然後就可以啓動集羣了。
二、啓動和關閉Hadoop集羣
1.單個節點逐個啓動和關閉
a.在主節點運行namenode進程
hadoop-daemon.sh start namenode
b.在每個從節點運行datanode進程
hadoop-daemon.sh start datanode
c.在主節點運行yarn resourcemanger進程
yarn-daemon.sh start resourcemanager
d.在每個從節點運行yarn nodemanger進程
yarn-daemon.sh start nodemanager
e.在規劃節點hadoop02使用以下指令啓動secondarynamenode進程
hadoop-daemon.sh start secondarynamenode
運行完成以上進程命令,如何判斷是否成功?需要jps命令查看當前虛擬機進程,hadoop01是四個進程hadoop02是三個進程hadoop03是兩個進程
2.腳本一鍵啓動和關閉
(1)在主節點hadoop01上使用以下指令啓動所有HDFS服務進程:
start-dfs.sh
(2)在主節點hadoop01上使用以下指令啓動所有YARN服務進程:
start-yarn.sh
如果需要停止相關服務進程,只需要將start改爲stop即可(即stop-dfs.sh和stop-yarn.sh)
hadoop01 192.168.21.164
通過訪問以上IP+端口地址(50070 8088兩個端口)
http:192.168.21.164:50070
http:192.168.21.164:8088
如果沒有關閉防火牆,可能導致無法訪問,則使用以下命令關閉防火牆:
systemctl stop firewalld(三臺機器都要關閉)
如果以主機名來訪問二大集羣
http://hadoop01:50070
http://hadoop01:8088
則必須配置宿主機hosts文件在C:\Windows\System32\drivers\etc填寫如下內容:
192.168.21.164 hadoop01
192.168.21.165 hadoop02
192.168.21.166 hadoop03
持續更新中......(每天10:24準時推送,查看更多內容請在菜單欄點擊大數據技術)