Kylin對比
Hive的性能比較慢,支持SQL靈活查詢,特別慢
HBase的性能快,原生不支持SQL
Phoenix:可以寫sql語句來查詢hbase!!
Kylin是將先將數據進行預處理,將預處理的結果放在HBase中。查詢效率很高
Kylin應用場景
- 用戶數據存在於Hadoop HDFS中,利用Hive將HDFS文件數據以關係數據方式存取,數據量巨大,在500G以上
- 每天有數G甚至數十G的數據增量導入
- 有10個以內較爲固定的分析維度
- Kylin 的核心思想是利用空間換時間,在數據 ETL 導入 OLAP 引擎時提前計算各維度的聚合結果並持久化保存
Kylin優點
Kylin 是一個 Hadoop 生態圈下的 MOLAP 系統,是 ebay 大數據部門從2014 年開始研發的支持 TB 到 PB 級別數據量的分佈式 Olap 分析引擎。其特點包括:
- 可擴展的超快的 OLAP 引擎
- 提供 ANSI-SQL 接口
- 交互式查詢能力
- MOLAP Cube 的概念
- 與 BI 工具可無縫整合
Kylin總體架構
Kylin 依賴於 Hadoop、Hive、Zookeeper 和 Hbase。