【Hadoop Streaming】-D stream.num.map.output.key.fields="2"

使用HadoopStreaming的一個小case,分享給大家,避免日後出bug:
當我們在用-D stream.num.map.output.key.fields=“2” 這個參數時,如果map端輸出的長度小於或者等於2,則在reduce端打印的時候會多加一個空值。
比如:map端輸出爲 A\tB,則在reduce端輸入爲 A\tB\t"",因爲在map端輸出時,沒有value可以輸出了,所以會默認用一個空串進行補充,在reduce端進行處理時會把空串拼接上。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章