Java API操作Hadoop可能會遇到的問題以及解決辦法

1、Could not locate Hadoop executable: xxx\bin\winutils.exe

解決辦法:
下載WINUTILS.EXE,並放到Hadoop的bin目錄,下載地址:https://github.com/steveloughran/winutils

2、Caused by: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset

解決辦法:
這個問題一般是因爲當前機器沒有安裝Hadoop或者沒有配置環境變量。因此首先需要下載並解壓Hadoop安裝包,其次需要配置系統環境變量:變量名:HADOOP_HOME,值:hadoop安裝路徑(例如:D:\hadoop-3.1.2)

注:修改完成之後需要重啓eclipse或IDEA之後才能生效

3、Permission denied: user=administrator, access=WRITE,inode=”/”:root:supergroup:drwxr-xr-x

這個問題的原因是當前運行系統用戶跟HDFS上面的文件系統的用戶/用戶組不同,因此沒有權限執行創建、刪除等操作。
解決辦法:
通過添加環境變量,人爲設置當前用戶爲HDFS的啓動用戶:
變量名:HADOOP_USER_NAME,值:啓動hadoop的用戶(例如:root)

HDFS集羣搭建及相關配置:HDFS3.x集羣配置
Java項目使用方法:Spring Boot項目中使用HDFS3.x

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章