MapReduce定義
MapReduce是一個分佈式運算程序的編程框架，是用戶開發“基於Hadoop的數據分析應用”的核心框架。
MapReduce核心功能是將用戶編寫的業務邏輯代碼和自帶默認組件整合成一個完整的分佈式運算程序，併發運行在一個Hadoop集羣上。
我們的任務就是編寫業務的邏輯代碼
MapReduce優缺點
優點：
- MapReduce 易於編程
它簡單的實現一些接口，就可以完成一個分佈式程序，這個分佈式程序可以分佈到大量廉價的PC機器上運行。也就是說你寫一個分佈式程序，跟寫一個簡單的串行程序是一模一樣的。就是因爲這個特點使得MapReduce編程變得非常流行。- 良好的擴展性
當你的計算資源不能得到滿足的時候，你可以通過簡單的增加機器來擴展它的計算能力。- 高容錯性
MapReduce設計的初衷就是使程序能夠部署在廉價的PC機器上，這就要求它具有很高的容錯性。比如其中一臺機器掛了，它可以把上面的計算任務轉移到另外一個節點上運行，不至於這個任務運行失敗，而且這個過程不需要人工參與，而完全是由Hadoop內部完成的。- 適合PB級以上海量數據的離線處理
可以實現上千臺服務器集羣併發工作，提供數據處理能力。
缺點
- 不擅長實時計算
MapReduce無法像MySQL一樣，在毫秒或者秒級內返回結果。- 不擅長流式計算
流式計算的輸入數據是動態的，而MapReduce的輸入數據集是靜態的，不能動態變化。這是因爲MapReduce自身的設計特點決定了數據源必須是靜態的。- 不擅長有向圖計算
多個應用程序存在依賴關係，後一個應用程序的輸入爲前一個的輸出。在這種情況下，MapReduce並不是不能做，而是使用後，每個MapReduce作業的輸出結果都會寫入到磁盤，會造成大量的磁盤IO，導致性能非常的低下。總結： 歸根結底就是因爲MapReduce慢
MapReduce核心思想
- MapReduce運算程序一般需要分成2個階段：Map階段和Reduce階段
- Map階段的併發MapTask，完全並行運行，互不相干
- Reduce階段的併發ReduceTask，完全互不相干，但是他們的數據依賴於上一個階段的所有MapTask併發實例的輸出
- MapReduce編程模型只能包含一個Map階段和一個Reduce階段，如果用戶的業務邏輯非常複雜，那就只能多個MapReduce程序，串行運行
MapReduce進程
一個完整的MapReduce程序在分佈式運行時有三類實例進程
- MRAppmaster
負責整個程序的過程調度及狀態協調- MapTask
負責Map階段的整個數據處理流程- ReduceTask
負責Reduce階段的整個數據處理流程
常用數據序列化類型
採用反編譯工具反編譯源碼，發現官方的WordCount案例有Map類、Reduce類和驅動類。且數據的類型是Hadoop自身封裝的序列化類型
| java類型 | Hadoop Write類型 |
|---|---|
| boolean | BooleanWritable |
| byte | ByteWritable |
| int | IntWritable |
| float | FloatWritable |
| long | LongWritable |
| double | DoubleWritable |
| String | Text |
| map | MapWritable |
| array | ArrayWritable |
MapReduce編程規範
用戶編寫的程序分爲三個部分：Mapper、Reducer、Driver
Mapper階段
- 用戶自定義的Mapper要繼承自己的父類
- Mapper的輸入數據是KV對的形式（KV的類型可自定義）
- Mapper中的業務邏輯寫在map()方法中
- Mapper的輸出數據是KV對的形式（KV的類型可自定義）
5. map()方法（MapTask進程）對每一個<K,V>調用一次Reducer階段
- 用戶自定義的Reducer要繼承自己的父類
- Reducer的輸入數據類型對應Mapper的輸出數據類型，也是KV
- Reducer的業務邏輯寫在reduce()方法中
- ReduceTask進程對每一組相同k的<k,v>組調用一次reduce()方法
Driver階段
相當於YARN集羣的客戶端，用於提交我們整個程序到YARN集羣，提交的是封裝了MapReduce程序相關運行參數的job對象