Kyligence 如何幫助企業建設數據中臺

 

盤點  2019 年技術圈的熱詞,一定會提到“數據中臺”。Kyligence 的 CTO 李楊曾在媒體採訪中提到,中臺並不是一個技術平臺,也沒有標準架構,中臺負責提供 3 方面的內容:

  • 共享的數據服務(Data-as-a-Service)
  • 集中治理數據資產(Governance)
  • 用數據改造業務(Data changes business)

今天,就共享的數據服務,我們來聊一聊如何將 Kyligence 應用在中臺的數據服務中。

數據服務是數據中臺的重要建設部分

數據服務是數據中臺的重要建設內容,在阿里的中臺策略中,OneService 的能力包括利用主題邏輯表屏蔽複雜物理表的主題式數據服務、一般查詢+ OLAP 分析+在線服務的統一且多樣化數據服務和屏蔽多種異構數據源的跨源數據服務三個方向。在各企業的數據中臺建設中,這一思想得到了普遍認同,而這些能力需要集成各類技術組件的功能,並在統一規範和統一安全策略下才能形成。

阿里數據中臺思想

如何將 Kyligence 應用於數據中臺

基於 Apache Kylin 發展而來的高性能大數據工具,Kyligence 被很多企業集成到數據中臺,支持主題式數據服務、跨源數據服務和多樣化數據服務。

1)主題式數據服務

Kyligence 致力於成爲新一代的智能數據倉庫,滿足企業在大規模數據量上實現高效分析應用的需求。在 OLAP 思想中,基於事實表和維度表的星型模型本身就是針對業務主題的數據封裝,Kyligence 每一個 Model 都對應一個業務主題,並通過 API 提供諸如業務模型(model)、維度、指標等方面的信息,支持應用開發,如某銀行的業務指標訂閱應用中,應用通過調用Kyligence的模型API(GET http://host:port/kylin/api/models、GET http://host:port/kylin/api/cubes)獲取模型信息形成業務主題清單和分析主題清單,調用  Cube 信息 API 給予指標和維度清單供業務用戶進行指標分析訂閱,通過查詢API提供數據查詢服務。

 

2)跨源數據服務

區別於開源版本,商業版 Kylin 除了可以查詢聚合後的數據(Kyligence 存儲或 HBase)和導入到 Kyligence 存儲的明細數據外,增加了智能路由和查詢下壓的功能,可以作爲統一的查詢服務入口,能夠智能識別查詢內容,並將查詢路由到不同的數據源,如 Kyligence 存儲、Hadoop、MPP(如 GreenPlum)和其他關係型數據庫(如 MySQL、Oracle 等),並將查詢結果數據返回到前端,實現數據透明訪問。需要指出的是,Kyligence 在將查詢路由下壓到 Hadoop 上時可以配置 SparkSQL/Impala/Hive 作爲查詢引擎以適應不同的查詢環境。

 

3)統一但多樣化的數據服務

Kyligence 提供了除提供 ODBC/JDBC 數據接口外,也提供 MDX 和 Rest API 查詢接口,可以支持多樣化的數據訪問方式,支持各類 BI 工具和數據分析應用。如 DashBoard、業務報表等,Kyligence 提供 MDX 接口,可直接支持 PowerBI、SmartBI 中的 OLAP 分析,實現業務人員自助業務分析。

 

4)Kyligence 支持數據服務的安全管控

數據中臺在提供數據服務時,需要同時進行數據資源的訪問和利用的安全管控,Kyligence 本身具有完整的數據安全管理功能,如單元格級的數據權限,無論是訪問 Kyligence 聚合後的數據,還是在查詢下壓時,都會基於權限提供數據服務。同時 Kyligence 提供了完善的安全管理 API,(點擊這裏 獲取 Kyligence API 信息), 可方便集成到數據中臺的安全管理體系中。

 

5)應用案例

Kyligence 對數據服務能力的支持,在很多企業得到了應用,如某大型券商的數據資產平臺(數據中臺)中,直接利用 Kyligence 作爲統一數據服務接口,提供多樣化的數據服務,支持各類業務應用。

在某金融企業,數據中臺融合了多類型的數據源,在數據組織、管理、封裝的基礎上,利用 Kyligence 提供融合數據服務,實現統一查詢入口和 SQL 方言,靈活控制數據訪問權限,以及跨數據平臺的數據查詢。有效的實現了數據融合,賦能了更多分析場景,同時大幅縮短了業務上線時間,也降低了數據安全控制成本,另外 Kyligence 的可擴展架構也能夠應對激增的業務分析需求。

 

基於 Apache Kylin 發展而來的 Kyligence,不光是大數據分析的神器,其企業級特性體現在諸多方面,而在數據服務方面的能力,在互聯網、金融、製造、零售行業企業的數據中臺建設中得到了廣泛應用,幫助企業提高了數據中臺的建設效率,增強了數據中臺的功能。


關於作者

李明江,Kyligence 資深行業專家,在製造、金融和政企行業有近 20 年數據領域經驗,曾經參與多個大型數據平臺建設,對於企業數字化轉型有深刻理解和豐富經驗。

發佈了119 篇原創文章 · 獲贊 11 · 訪問量 2萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章