hue 執行mapreduce問題

    在hue平臺上,可以配置mapreduce的workflow,但是存在bug。

原因:相同的輸入文件,不管用什麼jar包(mapreduce),輸出的內容都是一致的。實質上是我們自己編寫的mapreduce並沒有執行。

解決方式:菜鳥一枚,修改hue代碼不可能,在workflow中用shell腳本來執行jar文件,切記,不要指定main,不識別

export HADOOP_USER_NAME=test #指定用戶

hadoop jar demo-0.0.1.jar /tmp/test/input.txt /tmp/test/demo.result

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章