Spark問題筆記

1、window系統上開發,使用winutil.exe報錯問題

在Intellij idea上運行hadoop報錯:Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjav,這個問題折騰了我很久,後來找到方法解決。

背景:window10 64位操作系統,本機遠程連接cdh集羣,在本機運行hadoop的mapreduce程序報錯:Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjav.

後來在網上找到解決方案是:由於hadoop.dll 版本問題出現的,這是由於hadoop.dll 版本問題,2.5之前的和自後的需要的不一樣,需要選擇正確的版本(包括操作系統的版本),並且在 Hadoop/bin和 C:\windows\system32 上將其替換。

我的hadoop是2.5.0的,我之前用的是1.2的hadoop.dll,後來根據網上的說法換了hadoop.dll,找了2.6的還是不行,原來我找的2.6的是32位操作系統的,後來幸運找到了2.6的64位的hadoop.dll。於是這個問題得以解決,真的感謝提供下載資源的人。太難找了。

提供了64位hadoop.dll相關文件的下載:hadoop2.6(x64)V0.2

原下載地址:http://download.csdn.net/detail/myamor/8393459


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章