關於hadoop2.5.2運行MapReduce計算框架依賴最少jar包問題

問題描述:在hadoop2.5.2中的MapReduce計算框架上,利用Java代碼執行分析任務時,需要導入必要的jar包。一般可直接導入/home/hadoop-2.5.1/share/hadoop/目錄下的所有jar包,共計184個,大小爲65.6M。這樣,在Eclipse中執行代碼時,會因爲引用jar包過多,導致運行卡頓;另外在將整個工程導出爲.jar文件(其中包括所有需要引用的jar文件)時,此jar文件最小就得是65.6M,這樣在hadoop集羣上部署項目時勢必造成網絡傳輸的消耗較大多等缺點。

解決辦法:找到運行MapReduce最少依賴的jar包,通過上網查閱和實際運行最終可以確定必須依賴的jar包如下圖1所示。


圖1 必須導入的jar包目錄

該目錄中共計25個jar文件,大小爲20.9M,這樣一來整個jar文件大小就縮減爲原來的1/3左右,達到了精簡java項目中jar文件的目的。


備註:個人能力水平有限,如上述有錯歡迎批評指正。另外,轉載請標明出處https://blog.csdn.net/u013237982/article/details/79763069

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章