Hadoop是什麼?
——Hadoop是一個適合大數據的分佈式存儲和計算平臺。
Hadoop的起源
——Hadoop最早起源於lucene下的Nutch,Hadoop這個名字不是一個縮寫,而是一個虛構的名字,是由Hadoop之父Doug Cutting的孩子給一個棕黃色的大象玩具命名的。所以Hadoop的標誌也就是一頭棕黃色的大象。
Hadoop的三大核心組件
HDFS: Hadoop中分佈式文件系統,爲海量的數據提供存儲。
HDFS中又包含
-NameNode(Master):管理者,只負責管理,管理集羣內的各個節點,並且負責目錄樹(名字空間)的管理
-SecondaryNameNode:輔助管理,只負責輔助NameNode管理工作
-DataNode(Slave):工作者,是負責工作,週期向NameNode彙報,進行讀寫操作
MapReduce:是一個基於YARN的分佈式的資源調度和離線並行計算框架
-核心功能是將用戶編寫的業務邏輯代碼和自帶默認組件整合成一個完整的分佈式運算程序,併發運行在Hadoop集羣上。
YARN:管理集羣資源調度的框架
YARN中又包含
-主節點resourceManager: 掌管集羣中的資源
-從節點nodeManager:管理每臺集羣資源