【Kylin】Kylin的介绍

目录

介绍

使用场景

好处

Kylin的总体架构


  • 介绍

Kylin-中国团队研发的,是第一个真正由中国人自己主导、从零开始、自主研发、并成为Apache顶级开源项目

 

Kylin的定位:对数据进行预计算/预处理,主要出现在辅助Hive组件(查询效率比较慢),提高查询效率。

 

Hive的性能比较慢,支持SQL

HBase的性能快,原生不支持SQL

Kylin是将先将数据进行预处理,将预处理的结果放在HBase中。效率很高(将hive和hbase两个技术的优点结合到一起)

 

  • 使用场景

用Hive将HDFS文件数据以关系数据方式存取,数据量巨大,每天有数G甚至数十G的数据增量导入,有10个以内较为固定的分析维度

 

核心思想

Kylin 的核心思想是利用空间换时间,在数据 ETL 导入 OLAP 引擎时提前计算各维度的聚合结果并持久化保存

 

  • 好处

Kylin 是一个 Hadoop 生态圈下的 MOLAP 系统,支持SQL语句,提供交互式的查询能力(交互式:强调的是查询返回速度的效率高/快),MOLAPCube 的概念,支持标准的JDBC查询方式,与 BI 工具可无缝整合。

 

联机事务处理OLTP

OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。

 

联机分析处理OLAP

联机分析处理的用户是企业中的专业分析人员及管理决策人员,他们在分析业务经营的数据时,从不同的角度来审视业务的衡量指标是一种很自然的思考模式。例如分析销售数据,可能会综合时间周期、产品类别、分销渠道、地理分布、客户群类等多种因素来考量。

 

 

  • Kylin的总体架构

Kylin 依赖于 Hadoop、Hive、Zookeeper 和 Hbase

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章