MapReduce數據流(二)

接上一篇:MapReduce數據流(一)  

  輸入塊(InputSplit):一個輸入塊描述了構成MapReduce程序中單個map任務的一個單元。把一個MapReduce程序應用到一個數據集上,即是指一個作業,會由幾個(也可能幾百個)任務組成。Map任務可能會讀取整個文件,但一般是讀取文件的一部分。默認情況下,FileInputFormat及其子類會以64MB(與HDFS的Block默認大小相同,譯註:Hadoop建議Split大小與此相同)爲基數來拆分文件。你可以在hadoop-site.xml(譯註:0.20.*以後是在mapred-default.xml裏)文件內設定mapred.min.split.size參數來控制具體劃分大小,或者在具體MapReduce作業的JobConf對象中重寫這個參數。通過以塊形式處理文件,我們可以讓多個map任務並行的操作一個文件。如果文件非常大的話,這個特性可以通過並行處理大幅的提升性能。更重要的是,因爲多個塊(Block)組成的文件可能會分散在集羣內的好幾個節點上(譯註:事實上就是這樣),這樣就可以把任務調度在不同的節點上;因此所有的單個塊都是本地處理的,而不是把數據從一個節點傳輸到另外一個節點。當然,日誌文件可以以明智的塊處理方式進行處理,但是有些文件格式不支持塊處理方式。針對這種情況,你可以寫一個自定義的InputFormat,這樣你就可以控制你文件是如何被拆分(或不拆分)成文件塊的。自定義的文件格式在第五部分有描述。
  輸入格式定義了組成mapping階段的map任務列表,每一個任務對應一個輸入塊。接着根據輸入文件塊所在的物理地址,這些任務會被分派到對應的系統節點上,可能會有多個map任務被分派到同一個節點上。任務分派好後,節點開始運行任務,嘗試去最大並行化執行。節點上的最大任務並行數由mapred.tasktracker.map.tasks.maximum參數控制。
  記錄讀取器(RecordReader):InputSplit定義瞭如何切分工作,但是沒有描述如何去訪問它。 RecordReader類則是實際的用來加載數據並把數據轉換爲適合mapper讀取的鍵值對。RecordReader實例是由輸入格式定義的,默認的輸入格式,TextInputFormat,提供了一個LineRecordReader,這個類的會把輸入文件的每一行作爲一個新的值,關聯到每一行的鍵則是該行在文件中的字節偏移量。RecordReader會在輸入塊上被重複的調用直到整個輸入塊被處理完畢,每一次調用RecordReader都會調用Mapper的map()方法。
  Mapper:Mapper執行了MapReduce程序第一階段中有趣的用戶定義的工作。給定一個鍵值對,map()方法會生成一個或多個鍵值對,這些鍵值對會被送到Reducer那裏。對於整個作業輸入部分的每一個map任務(輸入塊),每一個新的Mapper實例都會在單獨的Java進程中被初始化,mapper之間不能進行通信。這就使得每一個map任務的可靠性不受其它map任務的影響,只由本地機器的可靠性來決定。map()方法除了鍵值對外還會接收額外的兩個參數(譯註:在0.20.×後的版本,接口已變化,由Context對象代替這兩個參數):

  • OutputCollector對象有一個叫collect()的方法,它可以利用該方法把鍵值對送到作業的reduce階段。
  • Reporter對象提供當前任務的信息,它的getInputSplit()方法會返回一個描述當前輸入塊的對象,並且還允許map任務提供關於系統執行進度的額外信息。setStatus()方法允許你生成一個反饋給用戶的狀態消息,incrCounter()方法允許你遞增共享的高性能計數器,除了默認的計數器外,你還可以定義更多的你想要的計數器。每一個mapper都可以遞增計數器,JobTracker會收集由不同處理得到的遞增數據並把它們聚集在一起以供作業結束後的讀取。

  Partition & Shuffle:當第一個map任務完成後,節點可能還要繼續執行更多的map任務,但這時候也開始把map任務的中間輸出交換到需要它們的reducer那裏去,這個移動map輸出到reducer的過程叫做shuffle。每一個reduce節點會分派到中間輸出的鍵集合中的一個不同的子集合,這些子集合(被稱爲“partitions”)是reduce任務的輸入數據。每一個map任務生成的鍵值對可能會隸屬於任意的partition,有着相同鍵的數值總是在一起被reduce,不管它是來自那個mapper的。因此,所有的map節點必須就把不同的中間數據發往何處達成一致。Partitioner類就是用來決定給定鍵值對的去向,默認的分類器(partitioner)會計算鍵的哈希值並基於這個結果來把鍵賦到相應的partition上,自定義的分類器在第五部分有詳細描述。
  排序:每一個reduce任務負責歸約(reduceing)關聯到相同鍵上的所有數值,每一個節點收到的中間鍵集合在被送到具體的reducer那裏前就已經自動被Hadoop排序過了。
  歸約(Reduce):每個reduce任務都會創建一個Reducer實例,這是一個用戶自定義代碼的實例,負責執行特定作業的第二個重要的階段。對於每一個已賦予到reducer的partition內的鍵來說,reducer的reduce()方法只會調用一次,它會接收一個鍵和關聯到鍵的所有值的一個迭代器,迭代器會以一個未定義的順序返回關聯到同一個鍵的值。reducer也要接收一個OutputCollector和Report對象,它們像在map()方法中那樣被使用。
  輸出格式:提供給OutputCollector的鍵值對會被寫到輸出文件中,寫入的方式由輸出格式控制。OutputFormat的功能跟前面描述的InputFormat類很像,Hadoop提供的OutputFormat的實例會把文件寫在本地磁盤或HDFS上,它們都是繼承自公共的FileInputFormat類。每一個reducer會把結果輸出寫在公共文件夾中一個單獨的文件內,這些文件的命名一般是part-nnnnn,nnnnn是關聯到某個reduce任務的partition的id,輸出文件夾通過FileOutputFormat.setOutputPath() 來設置。你可以通過具體MapReduce作業的JobConf對象的setOutputFormat()方法來設置具體用到的輸出格式。下表給出了已提供的輸出格式:

輸出格式

描述

TextOutputFormat

默認的輸出格式, 以 "key \t value" 的方式輸出行

SequenceFileOutputFormat

輸出二進制文件,適合於讀取爲子MapReduce作業的輸入

NullOutputFormat

忽略收到的數據,即不做輸出 

表4.2: Hadoop提供的輸出格式
  Hadoop提供了一些OutputFormat實例用於寫入文件,基本的(默認的)實例是TextOutputFormat,它會以一行一個鍵值對的方式把數據寫入一個文本文件裏。這樣後面的MapReduce任務就可以通過KeyValueInputFormat類簡單的重新讀取所需的輸入數據了,而且也適合於人的閱讀。還有一個更適合於在MapReduce作業間使用的中間格式,那就是SequenceFileOutputFormat,它可以快速的序列化任意的數據類型到文件中,而對應SequenceFileInputFormat則會把文件反序列化爲相同的類型並提交爲下一個Mapper的輸入數據,方式和前一個Reducer的生成方式一樣。NullOutputFormat不會生成輸出文件並丟棄任何通過OutputCollector傳遞給它的鍵值對,如果你在要reduce()方法中顯式的寫你自己的輸出文件並且不想Hadoop框架輸出額外的空輸出文件,那這個類是很有用的。
  RecordWriter:這個跟InputFormat中通過RecordReader讀取單個記錄的實現很相似,OutputFormat類是RecordWriter對象的工廠方法,用來把單個的記錄寫到文件中,就像是OuputFormat直接寫入的一樣。
  Reducer輸出的文件會留在HDFS上供你的其它應用使用,比如另外一個MapReduce作業,或一個給人工檢查的單獨程序。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章