Hadoop，Spark錯誤：Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

今天我用Spark進行RDD操作，遇到很多坑，都是之前犯過的錯誤，總是忘記，這裏總結下。

錯誤日誌如下：

 

我在windows中配置了hadoop，然後還需要一些工具hadoop.dll和winutils.exe文件，這裏工具可以進行下載，相關的詳細說明，我也寫在其中。

鏈接：https://pan.baidu.com/s/1ggCnoOLtLKWZFAcQop10PA 
提取碼：udw9 

然後配置一下hadoop/etc/hadoop/hadoop-env.cmd文件，如下圖：

這裏爲什麼配置可以參考下我之前寫過一篇的文章：https://blog.csdn.net/qq_38364053/article/details/86017854。

最後還需要幾步可以徹底解決：以做過的wordcount爲例子，需要添加一行代碼System.setProperty("hadoop.home.dir","你的hadoop根目錄")

以上配置過後，我能正確運行。記錄一次，日後再次遇到方便查閱。以上希望對大家有幫助。