大數據生態圈-1

常用存儲相關技術組件

HDFS、Kafka、HBase、ElasticSearch

常用計算相關技術組件

MapReduce、Spark、Flink

新老OLAP生態技術組件

Hive、ClickHouse

集羣資源管理調度組件

YARN、Spark standalone、Flink standalone

大數據通用協調服務組件

ZooKeeper

數據收集和遷移

flume、canal、 sqoop、datax、waterdrop等

任務調度

azkaban、oozie、dophinscheduler、airf1ow

部署運維

cloudera manager、ambari、SaltStack等

監控告警

Alertmanager+Prometheus,zabbix,openfalcon等

安全和權限

Kerberos、 anger等

數據治理

Griffin

元數據管理

Atlas

數據湖

Data Lake 三劍客——Delta、Hudi、Iceberg 

數據地圖
數據資產
數據血緣

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章