原文:https://blog.csdn.net/qiezikuaichuan/article/details/46682049
Note:以下配置可在服務器的mapred-site.xml中配置,作爲MapReduce作業的缺省配置參數。也可以在目標作業提交時,通過configuration個性化指定這些參數。
參數名稱 | 缺省值 | 說明 |
mapreduce.job.name | 作業名稱 | |
mapreduce.job.priority | NORMAL | 作業優先級 |
yarn.app.mapreduce.am.resource.mb | 1536 | MR ApplicationMaster佔用的內存量 |
yarn.app.mapreduce.am.resource.cpu-vcores | 1 | MR ApplicationMaster佔用的虛擬CPU個數 |
mapreduce.am.max-attempts | 2 | MR ApplicationMaster最大失敗嘗試次數 |
mapreduce.map.memory.mb | 1024 | 每個Map Task需要的內存量 |
mapreduce.map.cpu.vcores | 1 | 每個Map Task需要的虛擬CPU個數 |
mapreduce.map.maxattempts | 4 | Map Task最大失敗嘗試次數 |
mapreduce.reduce.memory.mb | 1024 | 每個Reduce Task需要的內存量 |
mapreduce.reduce.cpu.vcores | 1 | 每個Reduce Task需要的虛擬CPU個數 |
mapreduce.reduce.maxattempts | 4 | Reduce Task最大失敗嘗試次數 |
mapreduce.map.speculative | false | 是否對Map Task啓用推測執行機制 |
mapreduce.reduce.speculative | false | 是否對Reduce Task啓用推測執行機制 |
mapreduce.job.queuename | default | 作業提交到的隊列 |
mapreduce.task.io.sort.mb | 100 | 任務內部排序緩衝區大小 |
mapreduce.map.sort.spill.percent | 0.8 | Map階段溢寫文件的閾值(排序緩衝區大小的百分比) |
mapreduce.reduce.shuffle.parallelcopies | 5 | Reduce Task啓動的併發拷貝數據的線程數目 |
過期參數名 | 新參數名 |
mapred.job.name | mapreduce.job.name |
mapred.job.priority | mapreduce.job.priority |
mapred.job.queue.name | mapreduce.job.queuename |
mapred.map.tasks.speculative.execution | mapreduce.map.speculative |
mapred.reduce.tasks.speculative.execution | mapreduce.reduce.speculative |
io.sort.factor | mapreduce.task.io.sort.factor |
io.sort.mb | mapreduce.task.io.sort.mb |