適用範圍
本文涉及到的配置項主要針對 Hadoop 2.x，Spark 2.x。
MapReduce
官方文檔
https://hadoop.apache.org/doc...
左下角: mapred-default.xml
配置項舉例
- mapreduce.job.reduce.slowstart.completedmaps
當 Map Task 完成的比例達到該值後纔會爲 Reduce Task 申請資源
- mapreduce.output.fileoutputformat.compress
MapReduce Job 的結果輸出需要使用壓縮
Spark
官方文檔
https://spark.apache.org/docs...
最後有提到想要直接配置 Hadoop 項，在 Hadoop 配置項前加 spark.hadoop 即可。
Custom Hadoop/Hive Configuration
配置項示例
- spark.dynamicAllocation.enabled
是否動態分配內存（Spark 原生配置項）
- spark.hadoop.mapreduce.output.fileoutputformat.compress
Job 的結果輸出是否使用壓縮（Hadoop MR 配置項）本文出自: walker snapshot