一文看懂阿里文娛大數據OLAP選型

隨着各行各業信息技術的發展,數據分析對業務的提升功不可沒。數據處理大致可以分爲兩類:聯機事務處理OLTP(Online transaction processing)、聯機分析處理OLAP(Online Analytical Processing)。而大數據OLAP引擎也是百花齊放,使得業內各數據平臺的架構設計各有不同,本文主要是對OLAP的技術選型做一些探究和總結。

背景

大多數公司內部的數據平臺是業務主導,服務於業務、聚焦於業務的,產品本身即爲數據分析、數據運營等各個數據受衆所沉澱下來的業務分析流程。比如視頻行業內有縱向的內容宣發數據平臺、用戶運營數據平臺、播放體驗數據平臺等,皆是對不同業務知識的抽象、沉澱、總結。如此一來,產品對業務友好,符合各需求方的使用習慣,專注業務數據。然而各個數據平臺混雜,弊端也暴露出來:

  1. 產品維護成本提升:數據產品越來越多,各平臺的需求迭代等都需要各個同學負責;
  2. 技術成本未收斂:各個業務之間有很多共性,絕大多數產品聚焦於業務模式下的固化查詢(報表類需求),技術方案類似但選型不一致,如預計算未形成範式、KV存儲選型多。數據平臺的價值觸及天花板,各自爲政,數據發揮了各業務域下的價值卻未向上突破天花板;
  3. 仍有部分數據分析師的特定報表散落各地未統一收口。

原文鏈接:【https://www.infoq.cn/article/FBIxAJBKI6piiqgg0mzu】。未經作者許可,禁止轉載。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章