作業報告
( 2019學年春季學期 )
課程名稱 |
大數據與深度學習 |
作業名稱 |
大數據單詞計數 |
組長 |
LFY |
學號 |
2016 |
組員 |
|
學號 |
|
組員 |
|
學號 |
|
組員 |
|
學號 |
|
組員 |
|
學號 |
|
專業 |
|
教師 |
|
1、問題描述
利用本機模擬的分佈式系統,利用map/reduce編寫程序統計擬大數據文本中單詞出現的次數。
2、實現描述
按照老師提醒的思路,在map階段對每個鍵值key的單詞都寫出一個1,默認的分組函數會吧key相同的單詞分到同一個 reduce進行處理,到reduce階段把對應該key單詞的1,統計出多少個1就能實現統計出多少個對應key這個單詞出現的次數。
3、運行效果
- 輸入文本
- 輸出文本
- 輸出日誌
4、源碼
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
public class wordCount {
public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
StringTokenizer itr = new StringTokenizer(value.toString());
while (itr.hasMoreTokens()) {
word.set(itr.nextToken());
context.write(word, one);
}
}
}
public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
private IntWritable result = new IntWritable();
public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException{
int sum = 0;
for (IntWritable val : values) {
sum += val.get();
}
result.set(sum);
context.write(key, result);
}
}
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
if (otherArgs.length != 2) {
System.err.println("Usage: word count <in> <out>");
System.exit(2);
}
Job job = new Job(conf, "wordCount");
job.setJarByClass(wordCount.class);
job.setMapperClass(TokenizerMapper.class);
job.setCombinerClass(IntSumReducer.class);
job.setReducerClass(IntSumReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}
5、總結
通過此次初步編寫,初步接觸了map/reduce的基礎編程,發現了他們兩個函數提供的4個參數接口是實現程序的關鍵,通過調試並且最終實現了擬大數據的單詞統計計數操作。