deepin ubuntu安裝Hadoop3.x(腳本自動配置)

自己配置成功hadoop3.x後順便寫了個shell腳本,開始只是好玩而已,沒想到後面派上了大用場,很多同學配置半天各種錯誤,後面運行了我這腳本後都很快把hadoop跑起來了,快的5s,慢點的30s。碼雲地址:hadoop-install.sh用法及注意事項裏面都寫了,自己用編輯器查看。deepin,ubuntu都可以

。centos,fedora支持不是很好,只有一部分能跑起來(比如筆記本上的centos7不能跑起來,但是雲端的centos7服務器卻能一次性跑起來)

自動安裝如下

由於最大隻能上傳5M的gif,所以只錄了一部分,反正最後結果如下

可以看到進程都啓動了

 

卸載配置

如果不想用腳本的配置了,還原配置的方法是:1.清除/tmp目錄下的所有有關hadoop的文件   2.清除root的 ~/.ssh目錄下生成的相關密鑰數據  3.刪除hadoop安裝的目錄

如果你仍然不是很清楚,之前也沒有搞過什麼其他重要配置,可以直接3步還原:

1. rm -rf /user/local/hadoop    (如果hadoop啓動了,先stop後再執行,記得多stop幾遍確保完全關閉,文件在hadoop的sbin目錄下,叫stop-all.sh)

2. rm -rf ~/.ssh/*

3. rm -rf /tmp/*

關於一些其他問題

如果確實是deepin或者ubuntu,又執行腳本失敗,那可能是你之前的hadoop配置沒刪乾淨,還有種就是因爲系統升級出了點看似不影響的小問題,然後確確實實導致hadoop啓動失敗,哪怕是執行hadoop -version也會報conf_dir不完整,或是log4j.properties的警告,又或是invalid yarn等錯誤,而且網上相關的資料和解決方案都不是很好,因爲升級導致的問題還是建議重裝一下。但是一般情況下還是能一次性成功的

 

(額外:由於5M的上傳限額,gif錄了四五次,每錄一次gif都要卸載一次hadoop,清理一些配置,後面卸載的太頻繁導致殘留有hadoop的進程關不掉,最後還得重啓,製作不易,如果有幫助,還請支持下唄)

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章