關於hadoop無法啓動的問題



在hadoop上搭spark,首先搭了scala環境,然後spark下載配置。弄好之後,想啓動例子試一把。


首先啓動hadoop···接着就沒有然後了·hadoop一直啓不來,shell打印的也沒有不正常的:

[vdc@compute-02-04-71 hadoop-2.6.0]$ sbin/start-dfs.sh 
15/06/27 10:00:08 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [compute-02-04-71.local]
compute-02-04-71.local: starting namenode, logging to /home/vdc/hadoop/hadoop-2.6.0/logs/hadoop-vdc-namenode-compute-02-04-71.local.out
compute-02-04-71.local: starting datanode, logging to /home/vdc/hadoop/hadoop-2.6.0/logs/hadoop-vdc-datanode-compute-02-04-71.local.out
compute-02-04-73.local: starting datanode, logging to /home/vdc/hadoop/hadoop-2.6.0/logs/hadoop-vdc-datanode-compute-02-04-73.local.out
compute-02-04-75.local: starting datanode, logging to /home/vdc/hadoop/hadoop-2.6.0/logs/hadoop-vdc-datanode-compute-02-04-75.local.out
compute-02-04-74.local: starting datanode, logging to /home/vdc/hadoop/hadoop-2.6.0/logs/hadoop-vdc-datanode-compute-02-04-74.local.out
compute-02-04-72.local: starting datanode, logging to /home/vdc/hadoop/hadoop-2.6.0/logs/hadoop-vdc-datanode-compute-02-04-72.local.out
Starting secondary namenodes [compute-02-04-72.local]
compute-02-04-72.local: starting secondarynamenode, logging to /home/vdc/hadoop/hadoop-2.6.0/logs/hadoop-vdc-secondarynamenode-compute-02-04-72.local.out
15/06/27 10:00:25 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

有個WARN,不過這個一般都是本地庫和版本不對應照成的,去lib/native裏去用file命令看了具體庫的信息,發現也沒什麼不對應的,也是64位的,如果不是的話,就需要自己去重新編譯一個對應的本地庫。


那麼不是這個原因又是啥原因呢,猜測是自己搭spark的時候影響到了它(雖然可能性很低,但也試一把),所以把scala和spark都刪掉,結果還是啓動不了!


重新檢查了hadoop的搭建環境,也沒找到不對的地方,然後又重新格式化了hadoop,還是起不來(這裏一般會照成/tmp/hadoop-你的用戶名/dfs中,/name/current中的集羣ID和data/current中的集羣ID不對應,這個要把/name/current中的ID覆蓋掉data/current中的,否則會導致datanode啓不來)。


然後!我又創建用戶自己搭了一套hadoop,結果還是悲慘的發現無法啓動····


到這裏就下班了,然後靈光一現,因爲五臺物理機好幾個人都在用(學習目的),有同組的一個人也去創建了一個用戶,並且搭建了自己的hadoop(設置和之前hadoop一樣)。而她的hadoop是一直在集羣中跑着的,所以應該是主節點只能啓一個master,否則配置一樣,到底怎麼管理從節點。(這裏是在用web UI看集羣運行情況時想到的)


所以大週六去驗證自己的想法,結果還真是!把她的關掉之後,別的用戶再啓就沒有問題了!(所以以後如果沒有必要一定要關掉!)


接着就去搭自己的spark了,開始真正實踐學習spark!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章