WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform
據說這個警告是因爲電腦的操作系統是64位的
ERROR security.UserGroupInformation: PriviledgedActionException as:User cause:java.io.IOException: Failed to set permissions of path: \tmp\hadoop-User\mapred\staging\User660196934\.staging to 0700
這個error是因爲Windows權限的問題,好像在liunx下面沒有這個問題,解決的方法有兩個。
1. 修改/hadoop-xxx/src/core/org/apache/hadoop/fs/FileUtil.java裏的checkReturnValue,註釋掉其中代碼即可,重新編譯後替換原hadoop-core-xxx.jar包中FileUtil.java,再替換掉hadoop-xxx根目錄下的hadoop-core-xxx.jar即可。
但是因爲我不會重新編譯打包,所以沒用這個高大上的方法。
2. 在自己的Java項目中建立一個名爲:org.apache.hadoop.fs,即FileUtil.java原屬於的包,然後把修改後的FileUtil.java放進去就可以了。