Shuffle執行過程分析

 Shuffle執行過程

Map端:

1.每個輸入分片會讓一個map任務來處理,默認情況下,以HDFS的一個塊的大小(默認爲64M)爲一個分片,當然我們也可以設置塊的大小。map輸出的結果會暫且放在一個環形內存緩衝區中(該緩衝區的大小默認爲100M,由io.sort.mb屬性控制),當該緩衝區快要溢出時(默認爲緩衝區大小的80%,由io.sort.spill.percent屬性控制),會在本地文件系統中創建一個溢出文件,將該緩衝區中的數據寫入這個文件。
2.在寫入磁盤之前,線程首先根據reduce任務的數目將數據劃分爲相同數目的分區,也就是一個reduce任務對應一個分區的數據。這樣做是爲了避免有些reduce任務分配到大量數據,而有些reduce任務卻分到很少數據,甚至沒有分到數據的尷尬局面。其實分區就是對數據進行hash的過程。然後對每個分區中的數據進行排序,如果此時設置了Combiner,將排序後的結果進行Combia操作,這樣做的目的是讓儘可能少的數據寫入到磁盤。
3.當map任務輸出最後一個記錄時,可能會有很多的溢出文件,這時需要將這些文件合併。合併的過程中會不斷地進行排序和combia操作,目的有兩個:1.儘量減少每次寫入磁盤的數據量;2.儘量減少下一複製階段網絡傳輸的數據量。最後合併成了一個已分區且已排序的文件。爲了減少網絡傳輸的數據量,這裏可以將數據壓縮,只要將mapred.compress.map.out設置爲true就可以了。
4.將分區中的數據拷貝給相對應的reduce任務。有人可能會問:分區中的數據怎麼知道它對應的reduce是哪個呢?其實map任務一直和其父TaskTracker保持聯繫,而TaskTracker又一直和JobTracker保持心跳。所以JobTracker中保存了整個集羣中的宏觀信息。只要reduce任務向JobTracker獲取對應的map輸出位置就ok了。
Reduce端: 
1.Reduce會接收到不同map任務傳來的數據,並且每個map傳來的數據都是有序的。如果reduce端接受的數據量相當小,則直接存儲在內存中(緩衝區大小由mapred.job.shuffle.input.buffer.percent屬性控制,表示用作此用途的堆空間的百分比),如果數據量超過了該緩衝區大小的一定比例(由mapred.job.shuffle.merge.percent決定),則對數據合併後溢寫到磁盤中。
2.隨着溢寫文件的增多,後臺線程會將它們合併成一個更大的有序的文件,這樣做是爲了給後面的合併節省時間。其實不管在map端還是reduce端,MapReduce都是反覆地執行排序,合併操作,現在終於明白了有些人爲什麼會說:排序是hadoop的靈魂。
3.合併的過程中會產生許多的中間文件(寫入磁盤了),但MapReduce會讓寫入磁盤的數據儘可能地少,並且最後一次合併的結果並沒有寫入磁盤,而是直接輸入到reduce函數。
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章