Rhadoop中修改Reduce輸出分割符

mjiang@jiangmingyan:~/hadoop_work/hadoop-1.0.3/src/mapred/org/apache/hadoop/mapred$ ls -i *Format* 

7996170 FileInputFormat_Counter.properties   7996272 InputFormat.java              7996189 OutputFormat.java                      7996193 SequenceFileInputFormat.java

7996262 FileInputFormat.java                 7996157 KeyValueTextInputFormat.java  7996276 SequenceFileAsBinaryInputFormat.java   7996199 SequenceFileOutputFormat.java

7996363 FileOutputFormat_Counter.properties  7996269 MapFileOutputFormat.java      7996167 SequenceFileAsBinaryOutputFormat.java  7996143 TextInputFormat.java

7996145 FileOutputFormat.java                7996323 MultiFileInputFormat.java     7996161 SequenceFileAsTextInputFormat.java     7996370 TextOutputFormat.java

mapreduce(input='haha',

          output='out',

          reduce=ruducefun,

          output.format='text',

          backend.parameters=list(hadoop=list(

            D='mapred.job.name="get_sort_scores"', 

            D='mapred.output.compress=FALSE', 

            D=paste('mapred.map.tasks=', 1, sep=''), 

            D='mapred.textoutputformat.separator="\\001"',

            D=paste('mapred.reduce.tasks=', 1, sep=''),

            outputformat='org.apache.hadoop.mapred.TextOutputFormat'

            )))

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章