轉 :https://www.cnblogs.com/firstsheng618/p/9022879.html
MapReduce是一種分佈式計算模型，是Hadoop的主要組成之一，承擔大批量數據的計算功能。MapReduce分爲兩個階段：Map和Reduce。
一、MapReduce的架構演變
客戶端向JobTracker提交一個作業，JobTracker會把這個作業拆分成多份，然後分配給TaskTracker(任務執行者)執行，TaskTracker會每隔一段時間向JobTracker發送心跳信息，如果JobTracker在一段時間內沒有收到TaskTracker的心跳信息，JobTracker會認爲TaskTracker掛掉，並把TaskTracker的任務分配給其它TaskTracker。該架構存在的問題：a、JobTracker節點壓力過大；b、單點故障；3、只能跑MapReduce作業。
以上架構，在Hadoop版本中稱爲MRv2，所解決的問題：
1、更高的集羣利用率，一個框架未使用的資源可由另一個框架進行使用，充分的避免資源浪費；
2、很高的擴展性；
3、yarn通過加入ApplicationMaster可變部分，可以編寫不同的APPMst；
4、監控job的tasks運行情況下放到ApplicationMaster中；
二、MapReduce執行過程
1、客戶端提交作業
2、JobClient與JobTracker通信，JobTracker返回一個JobID
3、JobClient復製作業資源文件
將運行作業所需要的資源賦值到HDFS上，包括MR程序打包的JAR文件、配置文件和輸入劃分信息。這些文件都存在JobTracker專門爲該作業創建的文件夾中，文件夾名稱爲該作業的JobID。
4、提交任務
5、JobTracker初始化任務，創建作業對象
JobTracker接收到作業後，將其放在一個作業隊列，等待作業調度器進行調度。
6、對HDFS上的資源文件進行分片，每個分片對應一個MapTask
當作業調度器根據自己的調度算法調度到該作業時，會根據輸入劃分信息爲每個劃分創建一個map任務，並將map任務分配給TaskTracker執行
7、TaskTracker會向JobTracker返回一個心跳信息，根據心跳信息分配任務
TaskTracker每隔一段時間會給JobTracker發送一個心跳，告訴JobTracker它依然在運行，同時心跳中還攜帶着任務進度等信息
8、TaskTracker從HDFS上獲取作業資源文件
對於map和reduce任務，TaskTracker根據主機核的數量和內存的大小有固定數量的map槽和reduce槽。這裏需要強調的是：map任務不是隨隨便便地分配給某個TaskTracker的，這裏有個概念叫：數據本地化（Data-Local）。意思是：將map任務分配給含有該map處理的數據塊的TaskTracker上，同時將程序JAR包複製到該TaskTracker上來運行，這叫“運算移動，數據不移動”。而分配reduce任務時並不考慮數據本地化。
9、登錄到子JVM
10、TaskTracker啓動一個child進程來執行具體任務
Map端：
1．每個輸入分片會讓一個map任務來處理，默認情況下，以HDFS的一個塊的大小（默認爲64M）爲一個分片，當然我們也可以設置塊的大小。map輸出的結果會暫且放在一個環形內存緩衝區中（該緩衝區的大小默認爲100M，由io.sort.mb屬性控制），當該緩衝區快要溢出時（默認爲緩衝區大小的80%，由io.sort.spill.percent屬性控制），會在本地文件系統中創建一個溢出文件，將該緩衝區中的數據寫入這個文件。
2．在寫入磁盤之前，線程首先根據reduce任務的數目將數據劃分爲相同數目的分區，也就是一個reduce任務對應一個分區的數據。這樣做是爲了避免有些reduce任務分配到大量數據，而有些reduce任務卻分到很少數據，甚至沒有分到數據的尷尬局面。其實分區就是對數據進行hash的過程。然後對每個分區中的數據進行排序，如果此時設置了Combiner，將排序後的結果進行Combine操作，這樣做的目的是讓儘可能少的數據寫入到磁盤。
3．當map任務輸出最後一個記錄時，可能會有很多的溢出文件，這時需要將這些文件合併。合併的過程中會不斷地進行排序和combine操作，目的有兩個：1.儘量減少每次寫入磁盤的數據量；2.儘量減少下一複製階段網絡傳輸的數據量。最後合併成了一個已分區且已排序的文件。爲了減少網絡傳輸的數據量，這裏可以將數據壓縮，只要將mapred.compress.map.out設置爲true就可以了。
4．將分區中的數據拷貝給相對應的reduce任務。分區中的數據怎麼知道它對應的reduce是哪個呢？其實map任務一直和其父TaskTracker保持聯繫，而TaskTracker又一直和JobTracker保持心跳，所以JobTracker中保存了整個集羣中的宏觀信息。只要reduce任務向JobTracker獲取對應的map輸出位置即可。
Reduce端：
1．Reduce會接收到不同map任務傳來的數據，並且每個map傳來的數據都是有序的。如果reduce端接受的數據量相當小，則直接存儲在內存中（緩衝區大小由mapred.job.shuffle.input.buffer.percent屬性控制，表示用作此用途的堆空間的百分比），當數據量超過該緩衝區大小的一定比例（由mapred.job.shuffle.merge.percent決定），則對數據合併後溢寫到磁盤中。
2．隨着溢寫文件的增多，後臺線程會將它們合併成一個更大的有序的文件，這樣做是爲了給後面的合併節省時間。其實不管在map端還是reduce端，MapReduce都是反覆地執行排序，合併操作。排序是hadoop的靈魂。
3．合併的過程中會產生許多的中間文件（寫入磁盤），但MapReduce會讓寫入磁盤的數據儘可能地少，並且最後一次合併的結果並沒有寫入磁盤，而是直接輸入到reduce函數。
三、MR的Shuffle過程
MapReduce計算模型主要由三個階段構成：Map、Shuffle、Reduce。Map是映射，負責數據的過濾分類，將原始數據轉化爲鍵值對；Reduce是合併，將具有相同key值的value進行處理後再輸出新的鍵值對作爲最終結果；爲了讓Reduce可以並行處理Map的結果，必須對Map的輸出進行一定的排序與分割，然後再交給對應的Reduce，這個過程就是Shuffle。Shuffle過程包含Map Shuffle和Reduce Shuffle。
1）Map Shuffle
在Map端的shuffle過程就是對Map的結果進行分區、排序、分割，然後將屬於同一個分區的輸出合併在一起並寫在磁盤上，最終得到一個分區有序的文件。分區有序的含義是Map輸出的鍵值對按分區進行排列，具有相同partition值的鍵值對存儲在一起，每個分區裏面的鍵值對又按key值進行升序排序(默認)，大致流程如下：
2）Reduce Shuffle
Reduce任務通過HTTP向各個Map任務拖取它所需要的數據。Map任務成功完成後，會通知父TaskTracker狀態已經更新，TaskTracker進而通知JobTracker（這些通知在心跳機制中進行）。所以，對於指定作業來說，JobTracker能記錄Map輸出和TaskTracker的映射關係。Reduce會定期向JobTracker獲取Map的輸出位置，一旦拿到輸出位置，Reduce任務就會從此輸出對應的TaskTracker上覆制輸出到本地，而不會等到所有的Map任務結束。
Copy過來的數據會先放入內存緩衝區中，如果內存緩衝區中能放得下這次數據的話就直接把數據寫到內存中，即內存到內存merge。Reduce要向每個Map去拖取數據，在內存中每個Map對應一塊數據，當內存緩存區中存儲的Map數據佔用空間達到一定程度的時候，開始啓動內存中merge，把內存中的數據merge輸出到磁盤上一個文件中，即內存到磁盤merge。在將buffer中多個map輸出合併寫入磁盤之前，如果設置了Combiner，則會化簡壓縮合並的map輸出。Reduce的內存緩衝區可通過mapred.job.shuffle.input.buffer.percent配置，默認是JVM的heap size的70%。內存到磁盤merge的啓動門限可以通過mapred.job.shuffle.merge.percent配置，默認是66%。
當屬於該reducer的map輸出全部拷貝完成，則會在reducer上生成多個文件（如果拖取的所有map數據總量都沒有內存緩衝區，則數據就只存在於內存中），這時開始執行合併操作，即磁盤到磁盤merge，Map的輸出數據已經是有序的，Merge進行一次合併排序，所謂Reduce端的sort過程就是這個合併的過程。一般Reduce是一邊copy一邊sort，即copy和sort兩個階段是重疊而不是完全分開的。最終Reduce shuffle過程會輸出一個整體有序的數據塊。