大數據學習8————Hadoop time:2019.12.16 上午

一.大數據特點

   1.數據量大

   2.產生速度快

   3.種類多

   4.具有價值

二.Hadoop

存儲和計算框架 解決兩個問題

只適合與離線的計算

1.Hadoop之父Dcug Cutting

不移動數據，移動算法。

2.hadoop優勢:

高可靠性 hadoop底層維護多個數據副本方式

高擴展性 在集羣間分配任務數據

高效性 並行工作

高錯容性 能夠自動將失敗的任務重新分配

3.Hadoop組成：

兩個版本：

1. 實現並行計算的框架是MapReduce（計算+資源調度）HDFS（分佈式計算存儲數據存儲）Common（輔助工具）。

2. 將MapReduce解放出來專門做計算，提高了Mp整體的運行效率Yarn（資源調度）HDFS common