Hadoop學習（三）hdfs命令和MapReduce編程

一、hdfs命令

hdfs命令時操作hadoop文件系統的命令，可以進行hdfs中文件目錄的創建、刪除、查看、複製等。具體命令見http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html，這裏不做過多介紹

二、MapReduce編程

MapReduce是hadoop進行數據處理的過程。map是將自己主機上的文件進行統計並將數據發送給reduce，reduce對map的數據進行彙總。下面以wordcount實例進行介紹。

1.創建一個maven構建的java項目

這裏我直接在自己電腦上進行不用在虛擬機上進行，使用的IDE是eclipse。首先添加pom依賴如下：

    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.11</version>
      <scope>test</scope>
    </dependency>
    <dependency>
      <groupId>commons-beanutils</groupId>
      <artifactId>commons-beanutils</artifactId>
      <version>1.9.3</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-common</artifactId>
      <version>3.2.0</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-hdfs</artifactId>
      <version>3.2.0</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-mapreduce-client-core</artifactId>
      <version>3.2.0</version>
    </dependency>
    <dependency>
      <groupId>jdk.tools</groupId>
      <artifactId>jdk.tools</artifactId>
      <version>1.7</version>
      <scope>system</scope>
      <systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
    </dependency>

編寫mapper類、reduce類和main方法類：

mapper：

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
	
	@Override
	protected void map(LongWritable key, Text value,
			Mapper<LongWritable, Text, Text, IntWritable>.Context context)
			throws IOException, InterruptedException {
		String line = value.toString();
		String[] words = line.split(" ");
		for (int i = 0; i < words.length; i++) {
			context.write(new Text(words[i]), new IntWritable(1));
		}
	}
}

reduce：

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

public class WordCountReduce extends Reducer<Text, IntWritable, Text, IntWritable>{
	@Override
	protected void reduce(Text key, Iterable<IntWritable> values,
			Reducer<Text, IntWritable, Text, IntWritable>.Context context)
			throws IOException, InterruptedException {
		int count = 0;
		for (IntWritable value : values) {
			count += value.get();
		}
		context.write(key, new IntWritable(count));
	}
}

main方法類：

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import com.jsyl.mapreducetest.mapper.WordCountMapper;
import com.jsyl.mapreducetest.reduce.WordCountReduce;

public class WordCountMapReduce {
	public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
		Configuration configuration = new Configuration();//任務配置
		Job job = Job.getInstance(configuration, "wordcount");//按照配置新建一個任務，任務名爲wordcount
		job.setJarByClass(WordCountMapReduce.class);//任務的方法
		job.setMapperClass(WordCountMapper.class);//任務的map類
		job.setReducerClass(WordCountReduce.class);//任務的reduce類
		job.setMapOutputKeyClass(Text.class);//map類輸出key類型
		job.setMapOutputValueClass(IntWritable.class);//map類輸出value類型
		job.setOutputKeyClass(Text.class);//redcue類輸出key類型
		job.setOutputValueClass(IntWritable.class);//redcue類輸出value類型
		FileInputFormat.setInputPaths(job, new Path(args[0]));//設置輸入的文件路徑
		FileOutputFormat.setOutputPath(job, new Path(args[1]));//設置輸出的文件路徑
		boolean b = job.waitForCompletion(true);//等待任務執行完獲取執行結果
		if(!b){
			System.out.println("word count failed");
		}
	}

}

WordCountMapper類繼承Mapper<LongWritable, Text, Text, IntWritable>，泛型的第一個類型是輸入的key的類型，第二個類型是輸入的value的類型，第三個類型是輸出給reduce的key，第四個類型是輸出的value的類型。map從hdfs中獲取鍵值對數據，key爲某個文件的一行的id，value爲該行的內容。類中重寫的map方法的前兩個參數就是從hdfs中拿到的key和value。map處理完數據發送給reduce也是以鍵值對的形式，這裏wordcount程序是計數每個單詞的數量，就將對應的單詞和其數量發送給reduce。

WordCountReduce繼承Reducer<Text, IntWritable, Text, IntWritable>，泛型的意義也和WordCountMapper一樣，分別是輸入的key類型，輸入的value類型，輸出的key類型，輸出的value類型。map傳給reduce的數據可能是多個{key:aaa,value:1}這樣的，在reduce中收到的數據是類似於{key:aaa,value:(1,1,1)}的數據類型的，也就是收到的value是一個集合。

我的項目目錄結構如下：

2.在hadoop中執行MapReduce程序

將hadoop集羣啓動。準備一個文件複製到hdfs中，這裏我將hadoop搭建過程中的一些命令和配置組成了一個文件：

$ hadoop fs -put hadoop.txt /hadoop.txt

在上一步的項目目錄下執行maven打包命令：

mvn package

打包完成後，將target目錄下的jar包拷貝至master機器中。終端切換至jar包所在目錄，執行命令：

$ hadoop jar mapreducetest-0.0.1-SNAPSHOT.jar com.jsyl.mapreducetest.mapreduce.WordCountMapReduce /hadoop.txt /wordcount/output

這樣任務就會執行。執行完成後使用下面命令查看輸出的目錄：

$ hdfs dfs -cat /wordcount/output/*

得到如下結果：

可見得到的是鍵值對的結果。完美。