JAVA那些年我們踩過的坑

引言

JAVA那些年我們踩過的坑

最近都在流行大數據什麼的,然後偶然之間加入了一個物聯網的小公司,可以使用hadoop 來做數據分析,於是心中竊喜,可以有機會接觸大數據了,從此走上人生巔峯贏取白富美。

可是成功的道路總不是一帆風順滴,從我開始接觸這玩意兒,到現在大概有一個多月了,但是我居然還在搭環境。。。我丟你老牟,這個hadoop的環境怎麼這麼複雜,這是人乾的事?能不能像springboot 一樣做一些簡單化的配置就行呢?搞死我了。。

首先第一個問題:

因爲啓動haoop要啓動好多相關聯的東西比如說:

hadoop-daemon.sh start namenode

hadoop-daemon.sh start datanode

hadoop-daemon.sh start secondarynamenode

yarn-daemon.sh start resourcemanager

yarn-daemon.sh start nodemanager

mr-jobhistory-daemon.sh start historyserver

一個啓動要啓動這個多命令,你咋不上天呢?,我寫命令 的時候寫錯了幾個字就一直報錯找不到主類異常,我頂你個肺,又沒有詳細的明細,搞得我查了半天以爲是配置錯了,搞半天是命令打錯了。。。

第二個:

啓動namenode沒啓動起來,然後報錯一直報文件夾沒有找到data這個文件夾,然後我創建了,不行,又少了一個文件夾,我又創建了一個。。結果我頂你個肺搞半天是namenode沒有格式化,然後我又起來格式化,格式化不成功,又爆了一個錯是說鏈接不上其他的節點然後我頂你個肺,我就ping了一下,ping德通啊。。是什麼元嬰呢?

於是我到網上各種找解決方案,終於找到了一個。。

解決方案一:

在各JournalNode節點上,輸入以下命令啓動journalnode服務:

sbin/hadoop-daemon.sh start journalnode:

然後格式化就沒問題了

解決方案二:

HA模式第一次或刪除格式化版本後格式化失敗,報如上錯誤:

解決方案:

先啓動 ./start-dfs.sh

再進行 格式化,則成功

我用的是第二個解決方案,終於解決了,搞半天要先啓動dfs才能格式化,我頂你個肺然後繼續踩坑了。。我覺得我一定要征服hadoop因爲如果不能走入潮流的就會被淘汰,所以我得做潮流中的嫩草兒嘻嘻

總結

歡迎關注CSDN:JAVA編程大飛哥

覺得收穫的話可以點個關注評論轉發一波喔,謝謝大佬們支持!

微服務、分佈式、高併發、高可用,性能優化丶源碼分析等等一些技術乾貨等着你來探討學習!

點擊加入,一線互聯網技術等你來學習

點擊加入領取免費技術資料諮詢問題等。備註:CSDN

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章