1. 在awk 中mapper的时候我们经常会合并不同的文件,取我们想要的不同的字段。
awk -F "\t" ' { filename = ENVIRON["mapreduce_map_input_file"]; if (index(filename, "xxxx") > 0) { // xxx } else { //xxxx } }
这样来取文件的名字,来判断当前处理的行属于哪个文件,以此进行相应的处理。
2. 在hadoop 中我们经常需要对两个文件做一个join操作,即取两个文件的交集,或者在一个集合中过滤掉特定的集合,如果这个一个集合很小, 我们可以把这个集合加入到一个字典中,然后过滤, 在mapper 中这么写。
awk -F "\t" -v file=${smail_set} ' BEGIN{ while (getline < file > 0) { dict[$1] = 1; } } { if($1 in dict) //xxxx else print xxxx } '
reducer 直接 uniq 即可
3. 如果两个集合做 join 或者补集的操作,那么只能对集合打标签,在mapper中我们这么写:
awk -F "\t" ' { filename = ENVIRON["mapreduce_map_input_file"]; if (index(filename, "xxxx") > 0) { print $1"\t0\t"$0 } else { print $1"\t1\t"$0 } }
第二列 一个0 一个1 用$1 让他们combine的时候到一起去,结合shuffle时候的二次排序,可以搞定