Permission denied: user=administrator, access=WRITE 問題解決

Hadoop集羣環境部署在幾個Linux服務器上，現在想使用windows上的Java客戶端來操作集羣中的HDFS文件，但是在客戶端運行時出現瞭如下的認證錯誤，被折磨了幾天，問題終得以解決。以此文記錄問題的解決過程。

（如果想看最終解決問題的方法拉到最後，如果想看我的問題解決思路請從上向下看）

問題描述
上傳文件的代碼：

package com.cys.mapreduce;

import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class WordsCount {

    public static class TokenizerMapper extends
            Mapper<Object, Text, Text, IntWritable> {

        private final static IntWritable one = new IntWritable(1);
        private Text word = new Text();

        public void map(Object key, Text value, Context context)
                throws IOException, InterruptedException {
            String line = value.toString();
            StringTokenizer itr = new StringTokenizer(line);
            while (itr.hasMoreTokens()) {
                word.set(itr.nextToken().toLowerCase());
                context.write(word, one);
            }
        }
    }

    public static class IntSumReducer extends
            Reducer<Text, IntWritable, Text, IntWritable> {
        private IntWritable result = new IntWritable();

        public void reduce(Text key, Iterable<IntWritable> values,
                Context context) throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable val : values) {
                sum += val.get();
            }
            result.set(sum);
            context.write(key, new IntWritable(sum));
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        String[] otherArgs = new GenericOptionsParser(conf, args)
                .getRemainingArgs();
        if (otherArgs.length != 2) {
            System.err.println("Usage: wordcount <in> <out>");
            System.exit(2);
        }
        
        @SuppressWarnings("deprecation")
        Job job = new Job(conf, "word count");
        job.setJarByClass(WordsCount.class);
        job.setMapperClass(TokenizerMapper.class);
        job.setCombinerClass(IntSumReducer.class);
        job.setReducerClass(IntSumReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        FileInputFormat.addInputPath(job, new Path("hdfs://master:9000/input"));
        FileOutputFormat.setOutputPath(job, new Path("hdfs://master:9000/out3"));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

win7下eclipse中錯誤的詳細描述如下：

org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="hadoop": hadoop:supergroup:rwxr-xr-x

其實這個錯誤的原因很容易看出來，用戶Administator在hadoop上執行寫操作時被權限系統拒絕.

解決問題的過程
看到這個錯誤的，第一步就是將這個錯誤直接入放到百度google裏面進行搜索。找到了N多篇文章，但是主要的思路就如此篇文章所寫的兩個解決辦法：http://www.cnblogs.com/acmy/archive/2011/10/28/2227901.html

1、在hdfs的配置文件中，將dfs.permissions修改爲False

2、執行這樣的操作 hadoop fs -chmod 777 /user/hadoop

對於上面的第一個方法，我試了行不通，不知道是自己設置錯誤還是其他原因，對我此法不可行，第二個方法可行。第二個方法是讓我們來修改HDFS中相應文件夾的權限，後面的/user/hadoop這個路徑爲HDFS中的文件路徑，這樣修改之後就讓我們的administrator有在HDFS的相應目錄下有寫文件的權限（所有的用戶都是寫權限）。

雖然上面的第二步可以解決問題了，上傳之後的文件所有者爲Administrator，但是總感覺這樣的方法不夠優雅，而且這樣修改權限會有一定的安全問題，總之就是看着不爽，就在想有沒有其他的辦法？

問題分析
開始仔細的觀察了這個錯誤的詳細信息，看到user=Administrator, access=WRITE。這裏的user其實是我當前系統（運行客戶端的計算機的操作系統）的用戶名，實際期望這裏的user=hadoop（hadoop是我的HADOOP上面的用戶名），但是它取的是當前的系統的用戶名，很明顯，如果我將當前系統的用戶名改爲hadoop，這個肯定也是可以行得通的，但是如果後期將開發的代碼部署到服務器上之後，就不能方便的修改用戶，此方法明顯也不夠方便。

現在就想着Configuration這個是一個配置類，有沒有一個參數是可以在某個地方設置以哪個用戶運行呢？搜索了半天，無果。沒有找到相關的配置參數。

最終只有繼續分析代碼， FileSystem fs = FileSystem.get(URI.create(dest), conf);代碼是在此處開始對HDFS進行調用，所以就想着將HADOOP的源碼下下來，debug整個調用過程，這個user=Administator是在什麼時間賦予的值。理解了調用過程，還怕找不到解決問題的辦法麼？

跟蹤代碼進入 FileSystem.get-->CACHE.get（）-->Key key = new Key(uri, conf);到這裏的時候發現key值裏面已經有Administrator了，所以關鍵肯定是在new key的過程。繼續跟蹤UserGroupInformation.getCurrentUser()-->getLoginUser()-->login.login()到這一步的時候發現用戶名已經確定了，但是這個方法是Java的核心源碼，是一個通用的安全認證，但對這一塊不熟悉，但是debug時看到subject裏面有NTUserPrincipal：Administator，所以就想着搜索一下這個東西是啥，結果就找到了下面這一篇關鍵的文章：

http://www.udpwork.com/item/7047.html

在此篇文章裏面作者分析了hadoop的整個登錄過程，對於我有用的是其中的這一段：

2.login.login();
這個會調用HadoopLoginModule的login()和commit()方法。
HadoopLoginModule的login()方法是一個空函數，只打印了一行調試日誌 LOG.debug("hadoop login");
commit()方法負責把Principal添加到Subject中。
此時一個首要問題是username是什麼？
在使用了kerberos的情況下，從javax.security.auth.kerberos.KerberosPrincipal的實例獲取username。
在未使用kerberos的情況下，優先讀取HADOOP_USER_NAME這個系統環境變量，如果不爲空，那麼拿它作username。否則，讀取HADOOP_USER_NAME這個java環境變量。否則，從com.sun.security.auth.NTUserPrincipal或者com.sun.security.auth.UnixPrincipal的實例獲取username。
如果以上嘗試都失敗，那麼拋出異常LoginException("Can’t find user name")。
最終拿username構造org.apache.hadoop.security.User的實例添加到Subject中。

看完這一段，我明白了執行login.login的時候調用了hadoop裏面的HadoopLoginModule方法，而關鍵是在commit方法裏面，在這裏優先讀取HADOOP_USER_NAME系統環境變量，然後是java環境變量，如果再沒有就從NTUserPrincipal等裏面取。關鍵代碼爲：

if (!isSecurityEnabled() && (user == null)) {
  String envUser = System.getenv(HADOOP_USER_NAME);
  if (envUser == null) {
    envUser = System.getProperty(HADOOP_USER_NAME);
  }
  user = envUser == null ? null : new User(envUser);
}
OK，看到這裏我的需求也就解決了，只要在系統的環境變量裏面添加HADOOP_USER_NAME=hadoop（HDFS上的有權限的用戶，具體看自己的情況），或者在當前JDK的變量參數裏面添加HADOOP_USER_NAME這個Java變量即可。我的情況添加系統環境變量更方法。

如果是在Eclipse裏面運行，修改完環境變量後，記得重啓一下eclipse，不然可能不會生效。

解決辦法
 

1、在系統的環境變量或java JVM變量裏面添加HADOOP_USER_NAME，這個值具體等於多少看自己的情況，以後會運行HADOOP上的Linux的用戶名。（修改完重啓eclipse，不然可能不生效）

2、將當前系統的帳號修改爲hadoop

3、使用HDFS的命令行接口修改相應目錄的權限，hadoop fs -chmod 777 /user,後面的/user是要上傳文件的路徑，不同的情況可能不一樣，比如要上傳的文件路徑爲hdfs://namenode/user/xxx.doc，則這樣的修改可以，如果要上傳的文件路徑爲hdfs://namenode/java/xxx.doc，則要修改的爲hadoop fs -chmod 777 /java或者hadoop fs -chmod 777 /，java的那個需要先在HDFS裏面建立Java目錄，後面的這個是爲根目錄調整權限。

4、右擊計算機-->管理--->用戶和組-->admin。。。改爲與Linux下集羣主機名相同