M-R過程個人間接

最近看大數據的視頻,學的不多不足之處還請批評指正:
hadoop map-reduce階段   map階段的感覺是把元數據整理成key-value型的k-v對,然後調用

Reducer<Text, IntWritable,Text,IntWritable>.Context 的write方法將整理成的k-v傳入Reducer中,這裏有個點,就是每個map構造的key-value對都是獨立的,但傳入Reducer後會以相同的key將value聚合在一起,對value的值進行處理,簡要來說map是整理數據的過程,key是處理數據的過程。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章