實際上是由於數據的傾斜問題，採用reparation將數據重分區就ok了，還有一點可以加入spark推測機制來容錯複雜的集羣網絡環境，可能由於某個單節點存在異常，網絡不穩定或是磁盤io滿了，使用推測顯得尤爲重要。以下爲常見可調用參數:
- 資源相關參數
(1) mapreduce.map.memory.mb: 一個Map Task可使用的資源上限（單位:MB），默認爲1024。如果Map Task實際使用的資源量超過該值，則會被強制殺死。
(2) mapreduce.reduce.memory.mb: 一個Reduce Task可使用的資源上限（單位:MB），默認爲1024。如果Reduce Task實際使用的資源量超過該值，則會被強制殺死。
(3) mapreduce.map.java.opts: Map Task的JVM參數，你可以在此配置默認的java heap size等參數, e.g.
“-Xmx1024m -verbose:gc -Xloggc:/tmp/@[email protected]” （@taskid@會被Hadoop框架自動換爲相應的taskid）, 默認值: “”
(4) mapreduce.reduce.java.opts: Reduce Task的JVM參數，你可以在此配置默認的java heap size等參數, e.g.
“-Xmx1024m -verbose:gc -Xloggc:/tmp/@[email protected]”, 默認值: “”
(5) mapreduce.map.cpu.vcores: 每個Map task可使用的最多cpu core數目, 默認值: 1
(6) mapreduce.map.cpu.vcores: 每個Reduce task可使用的最多cpu core數目, 默認值: 1 - 容錯相關參數
(1) mapreduce.map.maxattempts: 每個Map Task最大重試次數，一旦重試參數超過該值，則認爲Map Task運行失敗，默認值：4。
(2) mapreduce.reduce.maxattempts: 每個Reduce Task最大重試次數，一旦重試參數超過該值，則認爲Map Task運行失敗，默認值：4。
(3) mapreduce.map.failures.maxpercent: 當失敗的Map Task失敗比例超過該值爲，整個作業則失敗，默認值爲0. 如果你的應用程序允許丟棄部分輸入數據，則該該值設爲一個大於0的值，比如5，表示如果有低於5%的Map Task失敗（如果一個Map Task重試次數超過mapreduce.map.maxattempts，則認爲這個Map Task失敗，其對應的輸入數據將不會產生任何結果），整個作業扔認爲成功。
(4) mapreduce.reduce.failures.maxpercent: 當失敗的Reduce Task失敗比例超過該值爲，整個作業則失敗，默認值爲0.
(5) mapreduce.task.timeout: Task超時時間，經常需要設置的一個參數，該參數表達的意思爲：如果一個task在一定時間內沒有任何進入，即不會讀取新的數據，也沒有輸出數據，則認爲該task處於block狀態，可能是卡住了，也許永遠會卡主，爲了防止因爲用戶程序永遠block住不退出，則強制設置了一個該超時時間（單位毫秒），默認是300000。如果你的程序對每條輸入數據的處理時間過長（比如會訪問數據庫，通過網絡拉取數據等），建議將該參數調大，該參數過小常出現的錯誤提示是“AttemptID:attempt_14267829456721_123456_m_000224_0 Timed out after 300 secsContainer killed by the ApplicationMaster.”。 - 本地運行mapreduce 作業
設置以下幾個參數:
mapreduce.framework.name=local
mapreduce.jobtracker.address=local
fs.defaultFS=local - 效率和穩定性相關參數
(1) mapreduce.map.speculative: 是否爲Map Task打開推測執行機制，默認爲false
(2) mapreduce.reduce.speculative: 是否爲Reduce Task打開推測執行機制，默認爲false
(3) mapreduce.job.user.classpath.first & mapreduce.task.classpath.user.precedence：當同一個class同時出現在用戶jar包和hadoop jar中時，優先使用哪個jar包中的class，默認爲false，表示優先使用hadoop jar中的class。
(4) mapreduce.input.fileinputformat.split.minsize: 每個Map Task處理的數據量（僅針對基於文件的Inputformat有效，比如TextInputFormat，SequenceFileInputFormat），默認爲一個block大小，即 134217728。
HBase 相關配置參數
(1) hbase.rpc.timeout：rpc的超時時間，默認60s，不建議修改，避免影響正常的業務，在線上環境剛開始配置的是3秒，運行半天后發現了大量的timeout error，原因是有一個region出現瞭如下問題阻塞了寫操作：“Blocking updates … memstore size 434.3m is >= than blocking 256.0m size”可見不能太低。
(2) ipc.socket.timeout：socket建立鏈接的超時時間，應該小於或者等於rpc的超時時間，默認爲20s
(3) hbase.client.retries.number：重試次數，默認爲14，可配置爲3
(4) hbase.client.pause：重試的休眠時間，默認爲1s，可減少，比如100ms
(5) hbase.regionserver.lease.period：scan查詢時每次與server交互的超時時間，默認爲60s，可不調整。
Spark 相關配置參數 效率及穩定性相關參數
建議打開map（注意，在spark引擎中，也只有map和reduce兩種task，spark叫ShuffleMapTask和ResultTask）中間結果合併及推測執行功能：
spark.shuffle.consolidateFiles=true容錯相關參數
建議將這些值調大，比如：
spark.task.maxFailures=8
spark.akka.timeout=300
spark.network.timeout=300
spark.yarn.max.executor.failures=100
3.推測機制參數
與以下幾個參數有關：
spark.speculation=trure
1. spark.speculation.interval 100：檢測週期，單位毫秒；
2. spark.speculation.quantile 0.75：完成task的百分比時啓動推測；
3. spark.speculation.multiplier 1.5：比其他的慢多少倍時啓動推測。