python分佈式錯誤解決

利用python進行MapReduce時,可能會遇到報如下錯誤:

java.io.IOException: Cannot run program “e_mapper.py”: error=2, No such file or directory

解決辦法是用如下命令運行mapper.py和reducer.py:

hadoop jar /home/hdfs/project/hadoop-2.6.1/contrib/hadoop-streaming-2.6.1.jar -D stream.non.zero.exit.is.failure=false -mapper “python emapper.py” -reducer “python ereducer.py” -input /input/* -output /output -file /home/hdfs/emotionanalysis/emapper.py -file /home/hdfs/emotionanalysis/ereducer.py

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章