Apache Kylin 概念

Kylin對比

Hive的性能比較慢,支持SQL靈活查詢,特別慢
HBase的性能快,原生不支持SQL
Phoenix:可以寫sql語句來查詢hbase!!
Kylin是將先將數據進行預處理,將預處理的結果放在HBase中。查詢效率很高

Kylin應用場景

  • 用戶數據存在於Hadoop HDFS中,利用Hive將HDFS文件數據以關係數據方式存取,數據量巨大,在500G以上
  • 每天有數G甚至數十G的數據增量導入
  • 有10個以內較爲固定的分析維度
  • Kylin 的核心思想是利用空間換時間,在數據 ETL 導入 OLAP 引擎時提前計算各維度的聚合結果並持久化保存

Kylin優點

Kylin 是一個 Hadoop 生態圈下的 MOLAP 系統,是 ebay 大數據部門從2014 年開始研發的支持 TB 到 PB 級別數據量的分佈式 Olap 分析引擎。其特點包括:

  • 可擴展的超快的 OLAP 引擎
  • 提供 ANSI-SQL 接口
  • 交互式查詢能力
  • MOLAP Cube 的概念
  • 與 BI 工具可無縫整合

Kylin總體架構

Kylin 依賴於 Hadoop、Hive、Zookeeper 和 Hbase。
在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章