(转载)MapReduce作业配置参数

原文:https://blog.csdn.net/qiezikuaichuan/article/details/46682049

Note:以下配置可在服务器的mapred-site.xml中配置,作为MapReduce作业的缺省配置参数。也可以在目标作业提交时,通过configuration个性化指定这些参数。

参数名称缺省值说明
mapreduce.job.name
作业名称
mapreduce.job.priorityNORMAL作业优先级
yarn.app.mapreduce.am.resource.mb1536MR ApplicationMaster占用的内存量
yarn.app.mapreduce.am.resource.cpu-vcores1MR ApplicationMaster占用的虚拟CPU个数
mapreduce.am.max-attempts2MR ApplicationMaster最大失败尝试次数
mapreduce.map.memory.mb1024每个Map Task需要的内存量
mapreduce.map.cpu.vcores1每个Map Task需要的虚拟CPU个数
mapreduce.map.maxattempts4Map Task最大失败尝试次数
mapreduce.reduce.memory.mb1024每个Reduce Task需要的内存量
mapreduce.reduce.cpu.vcores1每个Reduce Task需要的虚拟CPU个数
mapreduce.reduce.maxattempts4Reduce Task最大失败尝试次数
mapreduce.map.speculativefalse是否对Map Task启用推测执行机制
mapreduce.reduce.speculativefalse是否对Reduce Task启用推测执行机制
mapreduce.job.queuenamedefault作业提交到的队列
mapreduce.task.io.sort.mb100任务内部排序缓冲区大小
mapreduce.map.sort.spill.percent0.8Map阶段溢写文件的阈值(排序缓冲区大小的百分比)
mapreduce.reduce.shuffle.parallelcopies5Reduce Task启动的并发拷贝数据的线程数目
注意,hadoop 2.x以后的版本重新命名了1.x中的所有配置参数,但兼容1.x版本中的旧参数,只不过会打印一条warning log来提示用户参数的过期。
MapReduce新旧参数对照表可参考Java类org.apache.hadoop.mapreduce.util.ConfigUtil,举例如下:
过期参数名新参数名
mapred.job.namemapreduce.job.name
mapred.job.prioritymapreduce.job.priority
mapred.job.queue.namemapreduce.job.queuename
mapred.map.tasks.speculative.executionmapreduce.map.speculative
mapred.reduce.tasks.speculative.executionmapreduce.reduce.speculative
io.sort.factormapreduce.task.io.sort.factor
io.sort.mbmapreduce.task.io.sort.mb


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章