mapreduce原理

MapReduce從它名字上來看就大致可以看出個緣由，兩個動詞Map和Reduce，“Map（展開）”就是將一個任務分解成爲多個任務，“Reduce”就是將分解後多任務處理的結果彙總起來，得出最後的分析結果。這不是什麼新思想，其實它的本質就是一種“分治法”的思想，把一個巨大的任務分割成許許多多的小任務單元，最後再將每個小任務單元的結果彙總，並求得最終結果。在分佈式系統中，機器集羣就可以看作硬件資源池，將並行的任務拆分，然後交由每一個空閒機器資源去處理，能夠極大地提高計算效率，同時這種資源無關性，對於計算集羣的擴展無疑提供了最好的設計保證。任務分解處理以後，那就需要將處理以後的結果再彙總起來，這就是Reduce要做的工作。