Hadoop詳解

Hadoop的介紹以及發展歷史

Hadoop之父Doug Cutting

1. Hadoop最早起源於lucene下的Nutch。Nutch的設計目標是構建一個大型的全網搜索引擎，包括網頁抓取、索引、查詢等功能，但隨着抓取網頁數量的增加，遇到了嚴重的可擴展性問題——如何解決數十億網頁的存儲和索引問題。
2. 2003年、2004年穀歌發表的三篇論文爲該問題提供了可行的解決方案。
   ——分佈式文件系統（GFS），可用於處理海量網頁的存儲
   ——分佈式計算框架MAPREDUCE，可用於處理海量網頁的索引計算問題。
   ——分佈式的結構化數據存儲系統Bigtable，用來處理海量結構化數據。
3. Doug Cutting基於這三篇論文完成了相應的開源實現HDFS和MAPREDUCE，並從Nutch中剝離成爲獨立項目HADOOP，到2008年1月，HADOOP成爲Apache頂級項目(同年，cloudera公司成立)，迎來了它的快速發展期。
   狹義上來說，Hadoop就是單獨指代Hadoop這個軟件（HDFS+MAPREDUCE）
   廣義上來說，Hadoop指代大數據的一個生態圈（Hadoop生態圈），包括很多其他的軟件。

Hadoop的歷史版本介紹

0.x系列版本：Hadoop當中最早的一個開源版本，在此基礎上演變而來的1.x以及2.x的版本
1.x版本系列：Hadoop版本當中的第二代開源版本，主要修復0.x版本的一些bug等
2.x版本系列：架構產生重大變化，引入了yarn平臺等許多新特性

Hadoop三大公司髮型版本介紹

1、免費開源版本apache：http://Hadoop.apache.org/
優點：擁有全世界的開源貢獻者，代碼更新迭代版本比較快，
缺點：版本的升級，版本的維護，版本的兼容性，版本的補丁都可能考慮不太周到，學習可以用，實際生產工作環境儘量不要使用
apache所有軟件的下載地址（包括各種歷史版本）：
http://archive.apache.org/dist/
2、免費開源版本hortonWorks：https://hortonworks.com/
hortonworks主要是雅虎主導Hadoop開發的副總裁，帶領二十幾個核心成員成立Hortonworks，核心產品軟件HDP（ambari），HDF免費開源，並且提供一整套的web管理界面，供我們可以通過web界面管理我們的集羣狀態，web管理界面軟件HDF網址（http://ambari.apache.org/）
3、服務收費版本ClouderaManager: https://www.cloudera.com/
cloudera主要是美國一家大數據公司在apache開源Hadoop的版本上，通過自己公司內部的各種補丁，實現版本之間的穩定運行，大數據生態圈的各個版本的軟件都提供了對應的版本，解決了版本的升級困難，版本兼容性等各種問題，生產環境推薦使用。

Hadoop的模塊組成

1、HDFS：一個高可靠、高吞吐量的分佈式文件系統。
2、MapReduce：一個分佈式的離線並行計算框架。
3、YARN：作業調度與集羣資源管理的框架。
4、Common：支持其他模塊的工具模塊。

Hadoop的架構模型（1.x，2.x的各種架構模型介紹）

1.x的版本架構模型介紹

文件系統核心模塊：
NameNode：集羣當中的主節點，主要用於管理集羣當中的各種數據
secondaryNameNode：主要能用於Hadoop當中元數據信息的輔助管理
DataNode：集羣當中的從節點，主要用於存儲集羣當中的各種數據
數據計算核心模塊：
JobTracker：接收用戶的計算請求任務，並分配任務給從節點
TaskTracker：負責執行主節點JobTracker分配的任務

2.x的版本架構模型介紹

文件系統核心模塊：
NameNode：集羣當中的主節點，主要用於管理集羣當中的各種元數據
secondaryNameNode：主要能用於Hadoop當中元數據信息的輔助管理
DataNode：集羣當中的從節點，主要用於存儲集羣當中的各種數據
數據計算核心模塊：
ResourceManager：接收用戶的計算請求任務，並負責集羣的資源分配
NodeManager：負責執行主節點APPmaster分配的任務

第二種：NameNode單節點與ResourceManager高可用架構模型

文件系統核心模塊：
NameNode：集羣當中的主節點，主要用於管理集羣當中的各種數據
secondaryNameNode：主要能用於Hadoop當中元數據信息的輔助管理
DataNode：集羣當中的從節點，主要用於存儲集羣當中的各種數據
數據計算核心模塊：
ResourceManager：接收用戶的計算請求任務，並負責集羣的資源分配，以及計算任務的劃分，通過zookeeper實現ResourceManager的高可用
NodeManager：負責執行主節點ResourceManager分配的任務

第三種：NameNode高可用與ResourceManager單節點架構模型

文件系統核心模塊：
NameNode：集羣當中的主節點，主要用於管理集羣當中的各種數據，其中nameNode可以有兩個，形成高可用狀態
DataNode：集羣當中的從節點，主要用於存儲集羣當中的各種數據
JournalNode：文件系統元數據信息管理
數據計算核心模塊：
ResourceManager：接收用戶的計算請求任務，並負責集羣的資源分配，以及計算任務的劃分
NodeManager：負責執行主節點ResourceManager分配的任務

第四種：NameNode與ResourceManager高可用架構模型

文件系統核心模塊：
NameNode：集羣當中的主節點，主要用於管理集羣當中的各種數據，一般都是使用兩個，實現HA高可用
JournalNode：元數據信息管理進程，一般都是奇數個
DataNode：從節點，用於數據的存儲
數據計算核心模塊：
ResourceManager：Yarn平臺的主節點，主要用於接收各種任務，通過兩個，構建成高可用
NodeManager：Yarn平臺的從節點，主要用於處理ResourceManager分配的任務