本地Idea运行项目报错的原因是因为:没有找到Hadoop目录,需要配置Hadoop的环境变量,并在hadoop bin目录下添加winutils.exe 和hadoop.dll文件。
1.下载所需版本的hadoop文件
下载链接:https://archive.apache.org/dist/hadoop/common/
2.配置环境变量(以windows10系统为例)
(1) 先配置HADOOP_HOME目录
(2) 再在path路径中添加hadoop环境变量
3. 网上下载 winutils.exe 和hadoop.dll文件
注意需要与hadoop的版本相对应。
hadoop2.2版本可以在这里下载: https://github.com/srccodes/hadoop-common-2.2.0-bin
hadoop2.6版本可以在这里下载: https://github.com/amihalik/hadoop-common-2.6.0-bin
hadoop2.6.5及以上版本可以在这里下载: https://github.com/cdarlint/winutils