版權聲明:未經允許,隨意轉載,請附上本文鏈接謝謝(づ ̄3 ̄)づ╭❤~
http://blog.csdn.net/xiaoduan_/article/details/79476815
Windows平臺上運行hadoop與spark程序涉及讀寫操作時報空指針等錯誤解決方案
問題詳細描述:Windows平臺上運行hadoop與spark程序涉及讀寫操作時報
Failed to locate the winutils binary in the hadoop binary path
或者空指針錯誤
java.io.IOException: Could not locate executable C:\hadoop\bin\winutils.exe in the Hadoop binaries.
解決方案:
1. 下載winutils的windows版本
GitHub上有人提供了winutils的windows的版本,項目地址https://github.com/srccodes/hadoop-common-2.2.0-bin,直接下載此項目的zip包,下載後是文件名是hadoop-common-2.2.0-bin-master.zip,解壓到一個目錄
2. 配置環境變量
增加用戶變量HADOOP_HOME,值是下載的zip包解壓的目錄,然後在系統變量path裏增加$HADOOP_HOME\bin 即可。
3. 在程序中添加如下代碼,代碼中的路徑爲你解壓的路徑
System.setProperty(“hadoop.home.dir”,”C:\hadoop\hadoop-common-2.2.0-bin-master”);