引言
JAVA那些年我們踩過的坑
最近都在流行大數據什麼的,然後偶然之間加入了一個物聯網的小公司,可以使用hadoop 來做數據分析,於是心中竊喜,可以有機會接觸大數據了,從此走上人生巔峯贏取白富美。
可是成功的道路總不是一帆風順滴,從我開始接觸這玩意兒,到現在大概有一個多月了,但是我居然還在搭環境。。。我丟你老牟,這個hadoop的環境怎麼這麼複雜,這是人乾的事?能不能像springboot 一樣做一些簡單化的配置就行呢?搞死我了。。
首先第一個問題:
因爲啓動haoop要啓動好多相關聯的東西比如說:
hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode
hadoop-daemon.sh start secondarynamenode
yarn-daemon.sh start resourcemanager
yarn-daemon.sh start nodemanager
mr-jobhistory-daemon.sh start historyserver
一個啓動要啓動這個多命令,你咋不上天呢?,我寫命令 的時候寫錯了幾個字就一直報錯找不到主類異常,我頂你個肺,又沒有詳細的明細,搞得我查了半天以爲是配置錯了,搞半天是命令打錯了。。。
第二個:
啓動namenode沒啓動起來,然後報錯一直報文件夾沒有找到data這個文件夾,然後我創建了,不行,又少了一個文件夾,我又創建了一個。。結果我頂你個肺搞半天是namenode沒有格式化,然後我又起來格式化,格式化不成功,又爆了一個錯是說鏈接不上其他的節點然後我頂你個肺,我就ping了一下,ping德通啊。。是什麼元嬰呢?
於是我到網上各種找解決方案,終於找到了一個。。
解決方案一:
在各JournalNode節點上,輸入以下命令啓動journalnode服務:
sbin/hadoop-daemon.sh start journalnode:
然後格式化就沒問題了
解決方案二:
HA模式第一次或刪除格式化版本後格式化失敗,報如上錯誤:
解決方案:
先啓動 ./start-dfs.sh
再進行 格式化,則成功
我用的是第二個解決方案,終於解決了,搞半天要先啓動dfs才能格式化,我頂你個肺然後繼續踩坑了。。我覺得我一定要征服hadoop因爲如果不能走入潮流的就會被淘汰,所以我得做潮流中的嫩草兒嘻嘻
總結
歡迎關注CSDN:JAVA編程大飛哥
覺得收穫的話可以點個關注評論轉發一波喔,謝謝大佬們支持!
微服務、分佈式、高併發、高可用,性能優化丶源碼分析等等一些技術乾貨等着你來探討學習!