(轉載)MapReduce作業配置參數

原文:https://blog.csdn.net/qiezikuaichuan/article/details/46682049

Note:以下配置可在服務器的mapred-site.xml中配置,作爲MapReduce作業的缺省配置參數。也可以在目標作業提交時,通過configuration個性化指定這些參數。

參數名稱缺省值說明
mapreduce.job.name
作業名稱
mapreduce.job.priorityNORMAL作業優先級
yarn.app.mapreduce.am.resource.mb1536MR ApplicationMaster佔用的內存量
yarn.app.mapreduce.am.resource.cpu-vcores1MR ApplicationMaster佔用的虛擬CPU個數
mapreduce.am.max-attempts2MR ApplicationMaster最大失敗嘗試次數
mapreduce.map.memory.mb1024每個Map Task需要的內存量
mapreduce.map.cpu.vcores1每個Map Task需要的虛擬CPU個數
mapreduce.map.maxattempts4Map Task最大失敗嘗試次數
mapreduce.reduce.memory.mb1024每個Reduce Task需要的內存量
mapreduce.reduce.cpu.vcores1每個Reduce Task需要的虛擬CPU個數
mapreduce.reduce.maxattempts4Reduce Task最大失敗嘗試次數
mapreduce.map.speculativefalse是否對Map Task啓用推測執行機制
mapreduce.reduce.speculativefalse是否對Reduce Task啓用推測執行機制
mapreduce.job.queuenamedefault作業提交到的隊列
mapreduce.task.io.sort.mb100任務內部排序緩衝區大小
mapreduce.map.sort.spill.percent0.8Map階段溢寫文件的閾值(排序緩衝區大小的百分比)
mapreduce.reduce.shuffle.parallelcopies5Reduce Task啓動的併發拷貝數據的線程數目
注意,hadoop 2.x以後的版本重新命名了1.x中的所有配置參數,但兼容1.x版本中的舊參數,只不過會打印一條warning log來提示用戶參數的過期。
MapReduce新舊參數對照表可參考Java類org.apache.hadoop.mapreduce.util.ConfigUtil,舉例如下:
過期參數名新參數名
mapred.job.namemapreduce.job.name
mapred.job.prioritymapreduce.job.priority
mapred.job.queue.namemapreduce.job.queuename
mapred.map.tasks.speculative.executionmapreduce.map.speculative
mapred.reduce.tasks.speculative.executionmapreduce.reduce.speculative
io.sort.factormapreduce.task.io.sort.factor
io.sort.mbmapreduce.task.io.sort.mb


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章