awk and hadoop 之reducer

配合上面一篇 mapper篇,這篇主要講在reducer的時候怎麼處理兩個文件中的內容,在mapper中我們給每個文件中的內容打了 tag ,在第二個字段,然後就能處理了,只要key一樣,就可以弄到一個文件中去。

awk -F '\t' '{
  id = $1;
  tag = $2;
  if (0 == tag){
    idPre = $1;
  }else (1 == tag && id == idPre){
    print $3"\t"id;    
  }  
}'

 

發佈了91 篇原創文章 · 獲贊 3 · 訪問量 6萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章