HDFS JAVA客戶端的權限錯誤：Permission denied

HDFS JAVA客戶端的權限錯誤：Permission denied

搭建了一個Hadoop的環境，Hadoop集羣環境部署在幾個Linux服務器上，現在想使用windows上的Java客戶端來操作集羣中的HDFS文件，但是在客戶端運行時出現瞭如下的認證錯誤，被折磨了幾天，問題終得以解決。以此文記錄問題的解決過程。

（如果想看最終解決問題的方法拉到最後，如果想看我的問題解決思路請從上向下看）

問題描述

上傳文件的代碼：

    private static void uploadToHdfs() throws FileNotFoundException,IOException {
        //我的文件地址
        String localSrc = "E:\\快盤\\技術文檔\\hadoop\\HDFS初步研究.pdf";
        //存放在雲端的目的地址
        String dest = "hdfs://192.168.2.156:9000/user/HDFS初步研究.pdf";
        InputStream in = new BufferedInputStream(new FileInputStream(localSrc));
        //得到配置對象
        Configuration conf = new Configuration();
//        conf.set("fs.default.name","hdfs://192.168.2.156:9000");
        //文件系統
        FileSystem fs = FileSystem.get(URI.create(dest), conf);
        //輸出流
        OutputStream out = fs.create(new Path(dest), new Progressable() {
            @Override
            public void progress() {
                System.out.println("上傳完一個設定緩存區大小容量的文件！");
            }
        });
        //連接兩個流，形成通道，使輸入流向輸出流傳輸數據
        IOUtils.copyBytes(in, out, 4096, true);
    }

錯誤的詳細描述如下：

org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="hadoop": hadoop:supergroup:rwxr-xr-x

其實這個錯誤的原因很容易看出來，用戶Administator在hadoop上執行寫操作時被權限系統拒絕.

解決問題的過程

看到這個錯誤的，第一步就是將這個錯誤直接入放到百度google裏面進行搜索。找到了N多篇文章，但是主要的思路就如此篇文章所寫的兩個解決辦法：http://www.cnblogs.com/acmy/archive/2011/10/28/2227901.html

1、在hdfs的配置文件中，將dfs.permissions修改爲False

2、執行這樣的操作 hadoop fs -chmod 777 /user/hadoop

對於上面的第一個方法，我試了行不通，不知道是自己設置錯誤還是其他原因，對我此法不可行，第二個方法可行。第二個方法是讓我們來修改HDFS中相應文件夾的權限，後面的/user/hadoop這個路徑爲HDFS中的文件路徑，這樣修改之後就讓我們的administrator有在HDFS的相應目錄下有寫文件的權限（所有的用戶都是寫權限）。

雖然上面的第二步可以解決問題了，上傳之後的文件所有者爲Administrator，但是總感覺這樣的方法不夠優雅，而且這樣修改權限會有一定的安全問題，總之就是看着不爽，就在想有沒有其他的辦法？

問題分析

開始仔細的觀察了這個錯誤的詳細信息，看到user=Administrator, access=WRITE。這裏的user其實是我當前系統（運行客戶端的計算機的操作系統）的用戶名，實際期望這裏的user=hadoop（hadoop是我的HADOOP上面的用戶名），但是它取的是當前的系統的用戶名，很明顯，如果我將當前系統的用戶名改爲hadoop，這個肯定也是可以行得通的，但是如果後期將開發的代碼部署到服務器上之後，就不能方便的修改用戶，此方法明顯也不夠方便。

現在就想着Configuration這個是一個配置類，有沒有一個參數是可以在某個地方設置以哪個用戶運行呢？搜索了半天，無果。沒有找到相關的配置參數。

最終只有繼續分析代碼， FileSystem fs = FileSystem.get(URI.create(dest), conf);代碼是在此處開始對HDFS進行調用，所以就想着將HADOOP的源碼下下來，debug整個調用過程，這個user=Administator是在什麼時間賦予的值。理解了調用過程，還怕找不到解決問題的辦法麼？

跟蹤代碼進入 FileSystem.get-->CACHE.get（）-->Key key = new Key(uri, conf);到這裏的時候發現key值裏面已經有Administrator了，所以關鍵肯定是在new key的過程。繼續跟蹤UserGroupInformation.getCurrentUser()-->getLoginUser()-->login.login()到這一步的時候發現用戶名已經確定了，但是這個方法是Java的核心源碼，是一個通用的安全認證，但對這一塊不熟悉，但是debug時看到subject裏面有NTUserPrincipal：Administator，所以就想着搜索一下這個東西是啥，結果就找到了下面這一篇關鍵的文章：

http://www.udpwork.com/item/7047.html

在此篇文章裏面作者分析了hadoop的整個登錄過程，對於我有用的是其中的這一段：

2.login.login();
這個會調用HadoopLoginModule的login()和commit()方法。
HadoopLoginModule的login()方法是一個空函數，只打印了一行調試日誌 LOG.debug("hadoop login");
commit()方法負責把Principal添加到Subject中。
此時一個首要問題是username是什麼？
在使用了kerberos的情況下，從javax.security.auth.kerberos.KerberosPrincipal的實例獲取username。
在未使用kerberos的情況下，優先讀取HADOOP_USER_NAME這個系統環境變量，如果不爲空，那麼拿它作username。否則，讀取HADOOP_USER_NAME這個java環境變量。否則，從com.sun.security.auth.NTUserPrincipal或者com.sun.security.auth.UnixPrincipal的實例獲取username。
如果以上嘗試都失敗，那麼拋出異常LoginException("Can’t find user name")。
最終拿username構造org.apache.hadoop.security.User的實例添加到Subject中。

看完這一段，我明白了執行login.login的時候調用了hadoop裏面的HadoopLoginModule方法，而關鍵是在commit方法裏面，在這裏優先讀取HADOOP_USER_NAME系統環境變量，然後是java環境變量，如果再沒有就從NTUserPrincipal等裏面取。關鍵代碼爲：

if (!isSecurityEnabled() && (user == null)) {
  String envUser = System.getenv(HADOOP_USER_NAME);
  if (envUser == null) {
    envUser = System.getProperty(HADOOP_USER_NAME);
  }
  user = envUser == null ? null : new User(envUser);
}

OK，看到這裏我的需求也就解決了，只要在系統的環境變量裏面添加HADOOP_USER_NAME=hadoop（HDFS上的有權限的用戶，具體看自己的情況），或者在當前JDK的變量參數裏面添加HADOOP_USER_NAME這個Java變量即可。我的情況添加系統環境變量更方法。

如果是在Eclipse裏面運行，修改完環境變量後，記得重啓一下eclipse，不然可能不會生效。

解決辦法

最終，總結下來解決辦法大概有三種：

1、在系統的環境變量或java JVM變量裏面添加HADOOP_USER_NAME，這個值具體等於多少看自己的情況，以後會運行HADOOP上的Linux的用戶名。（修改完重啓eclipse，不然可能不生效）

2、將當前系統的帳號修改爲hadoop

3、使用HDFS的命令行接口修改相應目錄的權限，hadoop fs -chmod 777 /user,後面的/user是要上傳文件的路徑，不同的情況可能不一樣，比如要上傳的文件路徑爲hdfs://namenode/user/xxx.doc，則這樣的修改可以，如果要上傳的文件路徑爲hdfs://namenode/java/xxx.doc，則要修改的爲hadoop fs -chmod 777 /java或者hadoop fs -chmod 777 /，java的那個需要先在HDFS裏面建立Java目錄，後面的這個是爲根目錄調整權限。

最好的辦法:System.setProperty("HADOOP_USER_NAME", "xxxx");