【Kylin】Kylin的介紹

目錄

介紹

使用場景

好處

Kylin的總體架構


  • 介紹

Kylin-中國團隊研發的,是第一個真正由中國人自己主導、從零開始、自主研發、併成爲Apache頂級開源項目

 

Kylin的定位:對數據進行預計算/預處理,主要出現在輔助Hive組件(查詢效率比較慢),提高查詢效率。

 

Hive的性能比較慢,支持SQL

HBase的性能快,原生不支持SQL

Kylin是將先將數據進行預處理,將預處理的結果放在HBase中。效率很高(將hive和hbase兩個技術的優點結合到一起)

 

  • 使用場景

用Hive將HDFS文件數據以關係數據方式存取,數據量巨大,每天有數G甚至數十G的數據增量導入,有10個以內較爲固定的分析維度

 

核心思想

Kylin 的核心思想是利用空間換時間,在數據 ETL 導入 OLAP 引擎時提前計算各維度的聚合結果並持久化保存

 

  • 好處

Kylin 是一個 Hadoop 生態圈下的 MOLAP 系統,支持SQL語句,提供交互式的查詢能力(交互式:強調的是查詢返回速度的效率高/快),MOLAPCube 的概念,支持標準的JDBC查詢方式,與 BI 工具可無縫整合。

 

聯機事務處理OLTP

OLTP是傳統的關係型數據庫的主要應用,主要是基本的、日常的事務處理,例如銀行交易。OLAP是數據倉庫系統的主要應用,支持複雜的分析操作,側重決策支持,並且提供直觀易懂的查詢結果。

 

聯機分析處理OLAP

聯機分析處理的用戶是企業中的專業分析人員及管理決策人員,他們在分析業務經營的數據時,從不同的角度來審視業務的衡量指標是一種很自然的思考模式。例如分析銷售數據,可能會綜合時間週期、產品類別、分銷渠道、地理分佈、客戶羣類等多種因素來考量。

 

 

  • Kylin的總體架構

Kylin 依賴於 Hadoop、Hive、Zookeeper 和 Hbase

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章