總結：大數據幾個重要框架的結構框圖

一、Hadoop

 

二、HA集羣模式

主機名 IP 安裝的軟件 運行的進程

host   192.168.33.129   jdk、hadoop  NameNode、DFSZKFailoverController(zkfc)

mini1 192.168.33.130   jdk、hadoop  NameNode、DFSZKFailoverController(zkfc)

mini2 192.168.33.131   jdk、hadoop  ResourceManager

mini3 192.168.33.132   jdk、hadoop  ResourceManager

mini4 192.168.33.133   jdk、hadoop、zookeeperDataNode、NodeManager、JournalNode、QuorumPeerMain

mini5 192.168.33.134   jdk、hadoop、zookeeperDataNode、NodeManager、JournalNode、QuorumPeerMain

mini6 192.168.33.135   jdk、hadoop、zookeeperDataNode、NodeManager、JournalNode、QuorumPeerMain

 

三、Hive 模式

備註：所以hive的運行離不開Hadoop。

四、Flume框架圖解

 備註：在linux上啓動agent，來獲取數據。根據配置文件確定數據的來源與目的

五、Azkaban不介紹，sqoop的運行機制如下

 

六、Hbase圖解 一個HMaster多個HRegionServer

HBase採用Master/Slave架構搭建集羣。

由以下類型節點組成：HMaster節點、HRegionServer節點、ZooKeeper集羣。

而在底層，它將數據存儲於HDFS中，因而涉及到HDFS的NameNode、DataNode等。

七、Storm圖解

 

Storm類似與Hadoop：

NameNode  ---> DataNode1、DataNode2、DataNode3……

nimbus  --->supervisor1、supervisor2、supervisor3……

八、Kafka

每個集羣叫做broker，分配brokerID

 

九、Spark

一個Master管理多個worker構成集羣