hadoop shuffle階段重要設置

mapreduce.reduce.shuffle.input.buffer.percent:

    mapreduce.reduce.shuffle.input.buffer.percent tells about the percentage of the reducer's heap memory to be allocated for the circular buffer to store the intermediate outputs copied from multiple mappers.

mapreduce.reduce.shuffle.memory.limit.percent:

默認爲0.25可以設置小一點0.1,這個和shuffle階段fetcher的線程個數相關,線程變多了索要佔用的資源就多了。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章