Mapreduce之间的参数传递

对于复杂的数据可以考虑把数据保存的公共的结点,然后在map'的setup方法中去读取这个文件,从而获得共享的数据,而对于简单的数据可以用conf进行传递。


在驱动函数里面
Configuration conf2=getConf();
conf2.set("temp", String.valueOf(123));
Job job2 = new Job(conf2, "Idf");//特别要注意的就是这条语句和上面一行绝不能颠倒

在Mapper里面:
String s=context.getConfiguration().get("temp");//注意,conf的获取是从context中获取,而不是重新new一个。
这样便可以再map或者reduce里获得temp参数,可以是不同数据类型。
发布了43 篇原创文章 · 获赞 6 · 访问量 5万+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章