常用存儲相關技術組件
HDFS、Kafka、HBase、ElasticSearch
常用計算相關技術組件
MapReduce、Spark、Flink
新老OLAP生態技術組件
Hive、ClickHouse
集羣資源管理調度組件
YARN、Spark standalone、Flink standalone
大數據通用協調服務組件
ZooKeeper
數據收集和遷移
flume、canal、 sqoop、datax、waterdrop等
任務調度
azkaban、oozie、dophinscheduler、airf1ow
部署運維
cloudera manager、ambari、SaltStack等
監控告警
Alertmanager+Prometheus,zabbix,openfalcon等
安全和權限
Kerberos、 anger等
數據治理
Griffin
元數據管理
Atlas
數據湖
Data Lake 三劍客——Delta、Hudi、Iceberg
數據地圖
數據資產
數據血緣