注意:我使用的是centos7+hadoop2.7.3的環境
今天將eclipse中寫好的MapReduce打成jar包傳到linux服務器上,跑了下hadoop集羣。
首先先記錄下如何將eclipse的工程打成jar包
1.選中你要打包的包右鍵選中export
2.輸入jar選擇如下 然後next
3.點擊Browse選擇一個你想保存jar包的位置 然後next
4.然後一直next到最後無法next時點擊Browse 選中你想打包的main類,ok,finish。然後出現一個waring繼續ok。完成後你剛剛保存的路徑下就會出現一個咖啡圖標的jar包了
5.我的就是這樣,就成功啦
在hadoop集羣上跑出現的問題
1.有時候會出現safe mode的問題
hadoop dfsadmin -safemode leave
可以用來退出安全模式
2.會出現
停在job處,無法執行下一步操作。
此時的解決方法如下(默認三個datanode):
a.將yarn-site.xml修改成如下
然後重啓hadoop在嘗試使用jar包,如果還未成功在執行b。
b.將datanode和namenode的主機名設置好,並修改datanode和namenode的/etc/hosts爲你修改的主機名比如下圖。此時在重啓hadoop集羣。運行MapReducejar包就可以啦。