M-R过程个人间接

最近看大数据的视频,学的不多不足之处还请批评指正:
hadoop map-reduce阶段   map阶段的感觉是把元数据整理成key-value型的k-v对,然后调用

Reducer<Text, IntWritable,Text,IntWritable>.Context 的write方法将整理成的k-v传入Reducer中,这里有个点,就是每个map构造的key-value对都是独立的,但传入Reducer后会以相同的key将value聚合在一起,对value的值进行处理,简要来说map是整理数据的过程,key是处理数据的过程。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章