Hadoop生態體系簡單介紹

 

一、數據來源層

1、結構化數據（數據庫）

2、半結構化數據（日誌文件）

3、非結構化數據（視頻，PPT等）

二、數據傳輸層

1、Flume收集日誌

2、Sqoop數據傳遞

3、Kafka消息隊列

三、數據存儲層

1、HDFS分佈式文件存儲

2、HBase非關係數據庫

四、資源管理層

Yarn資源管理

五、數據計算層

1、MapReduce離線計算

（1）Hive數據查詢

（2）Mahout數據挖掘

2、Spark Core內存計算

（1）Mahout數據挖掘

（2）Spark Mlib數據挖掘

（3）Spark R數據分析

（3）Spark Sql 數據查詢

（3）Spark Streaming實時計算

3、Storm實時計算

六、任務調度層

1、Oozie任務調度

2、azkaban任務調度