配合上面一篇 mapper篇,這篇主要講在reducer的時候怎麼處理兩個文件中的內容,在mapper中我們給每個文件中的內容打了 tag ,在第二個字段,然後就能處理了,只要key一樣,就可以弄到一個文件中去。
awk -F '\t' '{ id = $1; tag = $2; if (0 == tag){ idPre = $1; }else (1 == tag && id == idPre){ print $3"\t"id; } }'
配合上面一篇 mapper篇,這篇主要講在reducer的時候怎麼處理兩個文件中的內容,在mapper中我們給每個文件中的內容打了 tag ,在第二個字段,然後就能處理了,只要key一樣,就可以弄到一個文件中去。
awk -F '\t' '{ id = $1; tag = $2; if (0 == tag){ idPre = $1; }else (1 == tag && id == idPre){ print $3"\t"id; } }'