轉載於:http://www.cnblogs.com/sharpxiajun/p/3151395.html
談mapreduce運行機制,可以從很多不同的角度來描述,比如說從mapreduce運行流程來講解
,也可以從計算模型的邏輯流程來進行講解,也許有些深入理解了mapreduce運行機制還會從更好
的角度來描述,但是將mapreduce運行機制有些東西是避免不了的,就是一個個參入的實例對象,
一個就是計算模型的邏輯定義階段,我這裏講解不從什麼流程出發,就從這些一個個牽涉的對象
,不管是物理實體還是邏輯實體。
首先講講物理實體,參入mapreduce作業執行涉及4個獨立的實體:
客戶端(client):編寫mapreduce程序,配置作業,提交作業,這就是程序員完成的工作;
JobTracker:初始化作業,分配作業,與TaskTracker通信,協調整個作業的執行;
TaskTracker:保持與JobTracker的通信,在分配的數據片段上執行Map或Reduce任務,
TaskTracker和JobTracker的不同有個很重要的方面,就是在執行任務時候TaskTracker可以有n多
個,JobTracker則只會有一個(JobTracker只能有一個就和hdfs裏namenode一樣存在單點故障,
我會在後面的mapreduce的相關問題裏講到這個問題的)
Hdfs:保存作業的數據、配置信息等等,最後的結果也是保存在hdfs上面
那麼mapreduce到底是如何運行的呢?
首先是客戶端要編寫好mapreduce程序,配置好mapreduce的作業也就是job,接下來就是提交
job了,提交job是提交到JobTracker上的,這個時候JobTracker就會構建這個job,具體就是分配
一個新的job任務的ID值,接下來它會做檢查操作,這個檢查就是確定輸出目錄是否存在,如果存
在那麼job就不能正常運行下去,JobTracker會拋出錯誤給客戶端,接下來還要檢查輸入目錄是否
存在,如果不存在同樣拋出錯誤,如果存在JobTracker會根據輸入計算輸入分片(Input Split)
,如果分片計算不出來也會拋出錯誤,至於輸入分片我後面會做講解的,這些都做好了
JobTracker就會配置Job需要的資源了。分配好資源後,JobTracker就會初始化作業,初始化主要
做的是將Job放入一個內部的隊列,讓配置好的作業調度器能調度到這個作業,作業調度器會初始
化這個job,初始化就是創建一個正在運行的job對象(封裝任務和記錄信息),以便JobTracker
跟蹤job的狀態和進程。初始化完畢後,作業調度器會獲取輸入分片信息(input split),每個
分片創建一個map任務。接下來就是任務分配了,這個時候tasktracker會運行一個簡單的循環機
制定期發送心跳給jobtracker,心跳間隔是5秒,程序員可以配置這個時間,心跳就是jobtracker
和tasktracker溝通的橋樑,通過心跳,jobtracker可以監控tasktracker是否存活,也可以獲取
tasktracker處理的狀態和問題,同時tasktracker也可以通過心跳裏的返回值獲取jobtracker給
它的操作指令。任務分配好後就是執行任務了。在任務執行時候jobtracker可以通過心跳機制監
控tasktracker的狀態和進度,同時也能計算出整個job的狀態和進度,而tasktracker也可以本地
監控自己的狀態和進度。當jobtracker獲得了最後一個完成指定任務的tasktracker操作成功的通
知時候,jobtracker會把整個job狀態置爲成功,然後當客戶端查詢job運行狀態時候(注意:這
個是異步操作),客戶端會查到job完成的通知的。如果job中途失敗,mapreduce也會有相應機制
處理,一般而言如果不是程序員程序本身有bug,mapreduce錯誤處理機制都能保證提交的job能正
常完成。
下面我從邏輯實體的角度講解mapreduce運行機制,這些按照時間順序包括:輸入分片
(input split)、map階段、combiner階段、shuffle階段和reduce階段。
輸入分片(input split):在進行map計算之前,mapreduce會根據輸入文件計算輸入分片
(input split),每個輸入分片(input split)針對一個map任務,輸入分片(input split)
存儲的並非數據本身,而是一個分片長度和一個記錄數據的位置的數組,輸入分片(input split
)往往和hdfs的block(塊)關係很密切,假如我們設定hdfs的塊的大小是64mb,如果我們輸入有
三個文件,大小分別是3mb、65mb和127mb,那麼mapreduce會把3mb文件分爲一個輸入分片(input
split),65mb則是兩個輸入分片(input split)而127mb也是兩個輸入分片(input split),
換句話說我們如果在map計算前做輸入分片調整,例如合併小文件,那麼就會有5個map任務將執行
,而且每個map執行的數據大小不均,這個也是mapreduce優化計算的一個關鍵點。
map階段:就是程序員編寫好的map函數了,因此map函數效率相對好控制,而且一般map操作都是
本地化操作也就是在數據存儲節點上進行;
combiner階段:combiner階段是程序員可以選擇的,combiner其實也是一種reduce操作,因此我
們看見WordCount類裏是用reduce進行加載的。Combiner是一個本地化的reduce操作,它是map運
算的後續操作,主要是在map計算出中間文件前做一個簡單的合併重複key值的操作,例如我們對
文件裏的單詞頻率做統計,map計算時候如果碰到一個hadoop的單詞就會記錄爲1,但是這篇文章
裏hadoop可能會出現n多次,那麼map輸出文件冗餘就會很多,因此在reduce計算前對相同的key做
一個合併操作,那麼文件會變小,這樣就提高了寬帶的傳輸效率,畢竟hadoop計算力寬帶資源往
往是計算的瓶頸也是最爲寶貴的資源,但是combiner操作是有風險的,使用它的原則是combiner
的輸入不會影響到reduce計算的最終輸入,例如:如果計算只是求總數,最大值,最小值可以使
用combiner,但是做平均值計算使用combiner的話,最終的reduce計算結果就會出錯。
shuffle階段:將map的輸出作爲reduce的輸入的過程就是shuffle了,這個是mapreduce優化的重
點地方。這裏我不講怎麼優化shuffle階段,講講shuffle階段的原理,因爲大部分的書籍裏都沒
講清楚shuffle階段。Shuffle一開始就是map階段做輸出操作,一般mapreduce計算的都是海量數
據,map輸出時候不可能把所有文件都放到內存操作,因此map寫入磁盤的過程十分的複雜,更何
況map輸出時候要對結果進行排序,內存開銷是很大的,map在做輸出時候會在內存裏開啓一個環
形內存緩衝區,這個緩衝區專門用來輸出的,默認大小是100mb,並且在配置文件裏爲這個緩衝區
設定了一個閥值,默認是0.80(這個大小和閥值都是可以在配置文件裏進行配置的),同時map還
會爲輸出操作啓動一個守護線程,如果緩衝區的內存達到了閥值的80%時候,這個守護線程就會把
內容寫到磁盤上,這個過程叫spill,另外的20%內存可以繼續寫入要寫進磁盤的數據,寫入磁盤
和寫入內存操作是互不干擾的,如果緩存區被撐滿了,那麼map就會阻塞寫入內存的操作,讓寫入
磁盤操作完成後再繼續執行寫入內存操作,前面我講到寫入磁盤前會有個排序操作,這個是在寫
入磁盤操作時候進行,不是在寫入內存時候進行的,如果我們定義了combiner函數,那麼排序前
還會執行combiner操作。每次spill操作也就是寫入磁盤操作時候就會寫一個溢出文件,也就是說
在做map輸出有幾次spill就會產生多少個溢出文件,等map輸出全部做完後,map會合並這些輸出
文件。這個過程裏還會有一個Partitioner操作,對於這個操作很多人都很迷糊,其實
Partitioner操作和map階段的輸入分片(Input split)很像,一個Partitioner對應一個reduce
作業,如果我們mapreduce操作只有一個reduce操作,那麼Partitioner就只有一個,如果我們有
多個reduce操作,那麼Partitioner對應的就會有多個,Partitioner因此就是reduce的輸入分片
,這個程序員可以編程控制,主要是根據實際key和value的值,根據實際業務類型或者爲了更好
的reduce負載均衡要求進行,這是提高reduce效率的一個關鍵所在。到了reduce階段就是合併map
輸出文件了,Partitioner會找到對應的map輸出文件,然後進行復制操作,複製操作時reduce會
開啓幾個複製線程,這些線程默認個數是5個,程序員也可以在配置文件更改複製線程的個數,這
個複製過程和map寫入磁盤過程類似,也有閥值和內存大小,閥值一樣可以在配置文件裏配置,而
內存大小是直接使用reduce的tasktracker的內存大小,複製時候reduce還會進行排序操作和合並
文件操作,這些操作完了就會進行reduce計算了。
reduce階段:和map函數一樣也是程序員編寫的,最終結果是存儲在hdfs上的。
Mapreduce的相關問題
這裏我要談談我學習mapreduce思考的一些問題,都是我自己想出解釋的問題,但是某些問題
到底對不對,就要廣大童鞋幫我確認了。
jobtracker的單點故障:jobtracker和hdfs的namenode一樣也存在單點故障,單點故障一直是
hadoop被人詬病的大問題,爲什麼hadoop的做的文件系統和mapreduce計算框架都是高容錯的,但
是最重要的管理節點的故障機制卻如此不好,我認爲主要是namenode和jobtracker在實際運行中
都是在內存操作,而做到內存的容錯就比較複雜了,只有當內存數據被持久化後容錯纔好做,
namenode和jobtracker都可以備份自己持久化的文件,但是這個持久化都會有延遲,因此真的出
故障,任然不能整體恢復,另外hadoop框架裏包含zookeeper框架,zookeeper可以結合
jobtracker,用幾臺機器同時部署jobtracker,保證一臺出故障,有一臺馬上能補充上,不過這
種方式也沒法恢復正在跑的mapreduce任務。
做mapreduce計算時候,輸出一般是一個文件夾,而且該文件夾是不能存在,我在出面試題時候提
到了這個問題,而且這個檢查做的很早,當我們提交job時候就會進行,mapreduce之所以這麼設
計是保證數據可靠性,如果輸出目錄存在reduce就搞不清楚你到底是要追加還是覆蓋,不管是追
加和覆蓋操作都會有可能導致最終結果出問題,mapreduce是做海量數據計算,一個生產計算的成
本很高,例如一個job完全執行完可能要幾個小時,因此一切影響錯誤的情況mapreduce是零容忍
的。
Mapreduce還有一個InputFormat和OutputFormat,我們在編寫map函數時候發現map方法的參數是
之間操作行數據,沒有牽涉到InputFormat,這些事情在我們new Path時候mapreduce計算框架幫
我們做好了,而OutputFormat也是reduce幫我們做好了,我們使用什麼樣的輸入文件,就要調用
什麼樣的InputFormat,InputFormat是和我們輸入的文件類型相關的,mapreduce裏常用的
InputFormat有FileInputFormat普通文本文件,SequenceFileInputFormat是指hadoop的序列化文
件,另外還有KeyValueTextInputFormat。OutputFormat就是我們想最終存儲到hdfs系統上的文件
格式了,這個根據你需要定義了,hadoop有支持很多文件格式,這裏不一一列舉,想知道百度下
就看到了。
好了,文章寫完了,呵呵,這篇我自己感覺寫的不錯,是目前hadoop系列文章裏寫的最好的
,我後面會再接再厲的。加油!!!