問題描述:在hadoop2.5.2中的MapReduce計算框架上,利用Java代碼執行分析任務時,需要導入必要的jar包。一般可直接導入/home/hadoop-2.5.1/share/hadoop/目錄下的所有jar包,共計184個,大小爲65.6M。這樣,在Eclipse中執行代碼時,會因爲引用jar包過多,導致運行卡頓;另外在將整個工程導出爲.jar文件(其中包括所有需要引用的jar文件)時,此jar文件最小就得是65.6M,這樣在hadoop集羣上部署項目時勢必造成網絡傳輸的消耗較大多等缺點。
解決辦法:找到運行MapReduce最少依賴的jar包,通過上網查閱和實際運行最終可以確定必須依賴的jar包如下圖1所示。
圖1 必須導入的jar包目錄
該目錄中共計25個jar文件,大小爲20.9M,這樣一來整個jar文件大小就縮減爲原來的1/3左右,達到了精簡java項目中jar文件的目的。
備註:個人能力水平有限,如上述有錯歡迎批評指正。另外,轉載請標明出處https://blog.csdn.net/u013237982/article/details/79763069