淺談對數據中臺理解

背景

​跟同學朋友聊天的時候會被問到什麼是數據中臺,這個概念從阿里提出並實踐已經有4年左右,但這個概念今年是真正在互聯網圈內流行,很多人都聽說這個概念,但它到底是什麼,有什麼用,可以用在哪些場景卻很模糊,這裏聊聊個人的理解。

數據中臺是什麼?

數據中臺是馬雲在參觀supercell公司後提出的理念,即大中臺小前臺,大中臺是通用基礎技術能力,小前臺是指更靈活多樣的領域業務。通過強大的中臺能力就可以賦能並讓小前臺快速迭代適應業務需求。

在這裏插入圖片描述

沒有中臺,每個業務都是相互獨立,很多工作從頭做起,在計算機技術領域現象就是重複開發工具。如果有中臺把可複用能力強化整合起來,上層業務可以直接基於中臺已有的去實現目標,這樣達成目標的路徑更短更高效。

這個概念可以比喻到軍事作戰行動。美軍在攻打伊拉克、敘利亞的時後方五角大樓指揮部就是大中臺,前線作戰10人規模左右的小組就是小前臺,中臺通過空軍、雷達等各種技術手段分析戰略戰術並把信息傳達給前線作戰士兵,前線士兵也可以根據一線戰況反饋到中臺,獲得中臺空軍和火炮力量支持。這樣看表面上一個士兵並不算什麼,但這個士兵可以給中控五角大樓請求支援,能擁有飛機、導彈等強大打擊能力。

在阿里的發展歷程中,數據中臺是在經歷幾個甚至幾十個數據團隊煙囪式迭代發展過程中順應統一的需求中沉澱下來的架構理念。(注意數據中臺是一個理念,並不是字面含義的一個平臺或者系統。)

它並不是一開始就設計出來,最開始業務爲了快速發展,會快速滿足各自需求場景,但是在衆多業務發展起來後,發現很多問題,例如不同團隊數據口徑命名不一致、數據表冗餘重複開發、數據產品工具重複造輪子等問題,這些問題會逐漸拖慢前線數據團隊的開發效率和跨團隊數據共享流通。因爲這些問題的解決和馬老師提出來的理念進行融合,數據中臺理念逐漸成型。

在這裏插入圖片描述

本質上數據中臺理念包括方法、工具和組織三者相輔相成。方法是戰術方法路徑;工具是保證戰術執行客體;組織使用工具來保障路徑落地的以人才爲核心的主體,三者相輔相成來幫助數據中臺落地應用。

1)數據中臺方法

包括統一數據服務、統一數據加工方法和統一數據模型。

  • 統一數據服務包括統一的元數據查詢和數據接入應用能力

  • 統一數據加工方法包括統一的數據命名知識、開發規範和統計口徑等

  • 統一數據模型包括統一的數據倉庫分層,上層應用數據提供給業務方使用,中下層數據保持統一,減少數據冗餘

2)數據中臺工具

數據中臺工具比較廣泛,涉及整個大數據技術體系,包括從數據採集、數據ETL計算、存儲、調度、分析和展現等一系列平臺組成。這些工具的目標是要可以支持多樣業務、龐大數據量並且可以讓業務快速便捷接入,獲取中臺技術能力

3)數據中臺組織

人才前兩個條件的有力保障,需要相關領域的技術、運營和B端產品共通協作來打造整個數據中臺體系,把業務抽象沉澱到中臺能力並落地應用。

數據中臺有哪些作用?

前面介紹了大量中臺概念,那數據中臺的作用想必不難推導出來。規範化的數據採集、定義、開發和使用流程,從而達到數據服務通用、數據標準統一、數據內容一致的目標,這個流程一旦統一起來可以讓數據很方便被業務使用,加速數據流動和被挖掘的效率,讓數據金礦更好被挖掘使用從而助力企業發展。

數據中臺適應什麼場景?

這裏想重複一句老話:適合的就是最好的。
雖然現在它的名字被叫作數據中臺,但核心理念跟過去其他行業的資源整合統一、集中化和中央管理等概念如出一轍,簡單說就是合併同類項,把相同功能等分散資源整合強化,向業務提供更一致、更便捷的功能服務。但數據中臺也有自己的不同,它強調數據領域的通用、統一和一致並向上提供強大便捷服務。

  • 從這個角度看,對於初創公司其實只有一個數據團隊對上層提供所有數據服務,其統一的數據工具就滿足數據中臺特點,初創公司需要做的就是在建立之初把數據定義、數據ETL加工模型進行統一規範,形成標準化通用的數據產品平臺。

  • 對於中小公司,可能除了公司層面數據團隊外還有業務數據團隊,那公司層面數據團隊就會承擔數據中臺的定位,除了打通數據、規範數據定義及ETL流程,還需要把各業務需求進行抽象整合,減少各業務數據團隊重複開發。

  • 互聯網大公司目前基本上都已經形成大中臺小前臺,不同的只是落地的細節和程度。

當然數據中臺並不能包治百病,中臺聚焦的是非業務的通用部分,不能僅關注通用而不管業務需求,仍然需要保持對業務現狀及未來發展的理解,從短期和長期角度有效幫助業務發展。

建設數據中臺要消耗長期的人力物力時間,其目的是通過流程規範和服務來降本提效,對數據中臺的評價只有看其對企業當前及長遠發展是否有利。可能某些情況下人力不足,發展重點就是儘快滿足業務迭代試錯,這時如果去發展數據中臺就不一定適合,需要因地制宜,適合的就是最好的。

參考:
https://blog.csdn.net/sinat_26811377/article/details/102615792
https://dp.alibaba.com/index

微信原文

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章