數據中臺你想知道的都在這裏!

    導讀,文章萬字左右,重點內容導讀如下:

  1. 數據中臺是什麼?

  2. 數據中臺和數據倉庫,數據平臺的關係是什麼?

  3. 數據中臺和業務中臺的區別是什麼?

  4. 數據中臺建設的最大挑戰是什麼?

  5. 數據中臺的數據質量應該如何保障?

  6. 數據中臺的典型架構是怎樣的?

  7. 企業數據中臺的團隊如何構建?

  8. 數據中臺團隊的績效如何評價?

1.數據中臺是什麼

    數據中臺需求的出現,是企業數字化轉型的一個標誌性的轉折,數據中臺成爲熱點,標誌着,“在企業信息化或者數字化的歷史上,數據從來沒有距離業務這麼近,數字化轉型正從流程優先走向數據優先”。要想從根本上理解數據中臺是什麼,要認識到數據和軟件的關係。

    信息化和數字化的本質區別是:

    “信息化是用軟件工程技術局部支撐和改良業務,數字化是用數字化技術重塑和轉型業務本身”,而數據則是構成數字化業務世界的原子材料。

    數據從應用誕生的那一天開始就存在,但是,數據並不是第一天就被存儲和利用的,應用和數據的發展是不同步的,數據的地位是不斷演進,越來越重要的,經歷了以下五個階段:

 

階段1:數據沒有被存儲

早期的應用,是爲了解決某一個單點的問題,比如計算器,計算過程的數據是不被存儲的,但是計算的過程中,數據是客觀存在的。這個階段,數據是應用的過程產物,產生即丟棄,並不被存儲。

 

階段2:只有少量結果數據被存儲和查詢

當應用的功能豐富後,軟件從解決單點問題的工具演進到處理一類業務問題,從而有了多個功能模塊。典型的例子是辦公自動化系統、進銷存系統,這個時候少量的結果數據被存儲起來,並且也有了對數據的查詢、統計的需求。這個時候,數據是關鍵業務的記錄。

 

階段3:數據倉庫出現,數據被大量存儲

接着,企業級管理系統比如ERP、MES、CRM的出現,企業管理層需要跨條線,跨職能瞭解和掌握整體的經營情況,從而根據這些數據來幫助企業做決策。這個時候商務智能,傳統數據倉庫系統應運而生的出現了,數據在企業管理中的作用開始顯現。但是這個時候的數據距離業務很遠,爲業務提供支持的速度很慢,往往是先有了業務想法和需求,先有“領導要看什麼”,然後在去採集和處理對應的數據做出什麼報表給到領導

 

階段4:數據的深入價值開始被挖掘

傳統數據倉庫還是基於流程的,原因是數據倉庫的需求還是來自於預先的設計,來自於固有流程數據的整合。而這個時候,企業的業務已經有了一定的複雜度,企業管理人員希望從數據當中發現一些隱藏的未知的價值和規律。而這個時候預定義的查詢條件,預定義的業務主題已經不能滿足這樣的需求,所以在數據倉庫基礎上,產生了數據挖掘的技術,業務從數據中發現市場的規律,洞察客戶的興趣,產生一些人們不知道的信息。這個階段在市場營銷、生產調度等影響因子較多,動態性較大的業務領域,數據的重要性愈加凸顯。

以上四個階段,基本上都處於“業務數據化”的階段

 

階段5:業務數據化,數據成爲企業核心資產

到了數字化時代,所有的一切都被數字化的技術所重構,而數據是構成數字化世界的基礎。數據如同石油一樣,成爲新時代的資源,從數據當中挖掘價值,從數據當中去產生創新已經成爲了所有企業的共識。這個時候,數據成爲了企業的核心資產,所有的業務都被數據化。

總結一下,我們會發現在信息化時代,數據是流程的副產品,流程是預先設計好的,然後在設計好的流程中產生了數據;

在數字化時代,業務流程應用軟件(業務流程的顯形載體)會隨着市場的變化快速而不斷動態迭代甚至消亡,而數據成爲了物理世界映射到數字化世界的原子,數據思維(”Data First” )成爲戰略核心之一。

“數據是構建物理世界對等的數字化世界的原子”,數據中蘊含着業務的本質,蘊含着創新的源泉,誰能掌握數據的能力誰就能在數字化競爭中拔得頭籌。

最近兩年,數據在數字化轉型的重要性被提上了前所未有的高度,數據驅動的決策,調度,運營給企業插上了智能的大腦,帶來了巨大的業務價值。

UPS的首席信息官Juan Perez在2017年啓動了網絡規劃工具的試點,利用算法和數據來優化路由,2018年這個項目爲UPS節約了三千九百萬加侖的能源消耗,縮短了3.64億公里的路程。現在利用算法,機器學習,深度學習的技術來加工數據,通過數據來驅動企業的運營已經成爲了UPS的核心競爭力。

[https://erpinnews.com/big-data-case-study-ups-using-analytics-improve-performance

https://bigdata-madesimple.com/10-big-data-case-studies-big-results-2018/

]

招商銀行將“數據化”作爲金融科技戰略的核心舉措,通過數據驅動來全方位進行渠道優化和服務升級革命,打造了一批數據和智能驅動的新產品和服務。

[

https://www.wdzj.com/hjzs/ptsj/20180724/707374-1.html

http://www.cfc365.com/technology/bigdata/2018-07-25/14785.shtml

]

ThoughtWorks在2018年初就提出,數字化轉型已經從流程驅動進入數據驅動的時代,數據已經成爲了企業的核心生產資料。

[https://mp.weixin.qq.com/s/Y2Q_NUKzHWTOyX99kXO5BQ]

2018年10月,阿里雲棲大會上提出”數字外場“的概念,而數字外場的核心就是數據,每一個企業都在努力的成爲數據驅動的企業,所以構建數據中臺之前,企業需要在企業推行數據思維,建立自己的數據戰略。

[https://www.yidianzixun.com/article/0KBGxr4g]

數據本身在企業數字化轉型的歷程中,成爲了最核心,最重要的生產資料,成爲了企業重塑業務,自我轉型的決定性因子,在這個背景下,企業需要一個源源不斷的輸出數據服務,數據洞察的能力源泉,數據中臺的出現就成了順理成章的事情。

在2017年,我們就觀察到到數據中臺將會成爲今年的風口,那個時候我們提的最多的是“精益數據資產創新”(有興趣的同學可以自行百度搜索“精益數據資產創新”)。

那麼,數據中臺到底是什麼呢?

     

用一句話來簡單的介紹,“數據中臺是數據服務(Data API)工廠”,數據中臺的核心是Data API。

       

    Data API是數據中臺的核心,它是連接前臺和後臺的橋樑,通過API的方式提供數據服務,而不是直接把數據庫給前臺、讓前臺開發自行使用數據。至於產生DataAPI的過程,怎麼樣讓DataAPI產生得更快,怎麼樣讓DATA API更加清晰,怎麼樣讓DATA API的數據質量更好,這些是要圍繞數據中臺去構建的能力。

    某多產業現代物流集團,在2017年就通過構建企業級數據中臺,爲業務人員提供了數據資產創新服務,將數據以API的形式提供給前臺,從而將新產品從想法到上線的時間,提高了數倍。

    在金融領域,所有的產品、服務、交易本身就是數據化的。我們看到最複雜的業務領域,電信行業現在的網絡建設,網絡優化,大部分工作都是在電腦上,利用各種工具軟件來處理基站和網絡的數據,將網絡洞察數據轉換成網絡擴容需求數據,將擴容需求數據設計成網絡架構數據,在講網絡架構數據處理成各種不同設備型號的配置數據,同步的產生財務、物流、服務數據等。整個過程90%的工作量在處理各類數據,最後把結果數據傳遞到現實世界,安排發貨,安裝,驗收等行爲。而現在所提倡的工業4.0,智能製造本身也是將生產過程數據化,在數字化世界裏用數據來重構工廠本身,從而利用數字化的強大的計算能力,快速的搜索能力,數據的預測能力來增強和優化業務本身。

    未來企業的業務運營,從操作本質上來講就是加工和處理數據。數據中臺就是企業的數據服務工廠,完成從數據到價值的加工過程。

     

    對比與之前的所有的數據相關的應用和系統來講,

    數據中臺對於業務的價值是“加速從數據到價值的過程,提高企業的響應能力“。

    傳統的信息化建設過程中,數據對業務的貢獻是靠人看報表,從數據中理解和發現了新的思想後,通過傳統的溝通方式(開會,新需求)來對業務產生影響和指導的。

    數字化時代,數據中臺對於企業的價值,是加速從數據到價值的過程,提高企業的響應力。

    原來從數據報表的產生到改變業務行爲是以周爲單位去計算的,而數據中臺的價值是通過抽象和生產數據服務,更快的影響和改變業務行爲本身,這就是有的企業將數據服務直接嵌入到交易系統中,實時通過數據洞察來改變業務流程和應用本身。

    某金融科技企業,構建自己的實時風控數據中臺,將原來的報表系統變成實時的智能預警平臺,將合規評估從事後的模式,直接改變成事前的模式,就像在業務的高速公路上建設了一個個的風控檢查站,檢查站通過高速的建模,實時數據分析,能夠在不影響業務速度的情況下,實時對來往的車輛做風控評估,如果有的車輛有風險,則實時預警。

    將傳統的數據服務,從事後管控的模式提高到事前評估的模式,打造高數據響應力的企業是數據中臺對於業務的核心價值。

    數據中臺還能夠爲企業解決數據開發和應用開發不同步的問題。

     

    我們要接受並認可一個現實問題,那就是,企業的數據開發是跟不上應用的開發速度,更是跟不上業務的變化速度的。這是一個不可調和解決的問題,從市場變化到業務需求,到應用開發到沉澱成數據,這三者的速度是天生不一致的,這樣的不一致會帶來很多的問題,包括有開發效率的問題,有團隊協作的問題,有技術能力的問題。比如,爲什麼開發一個報表需要十幾個人天,並且大部分時間都是花在找數據,對數據,算數據上。爲什麼同樣的一個數據需求,不同的項目就要開發兩邊,不能共用,不能做到一個數據出口?爲什麼一般的Java開發人員不能掌握數據處理,ETL的能力?

    數據中臺就是要將這些能力都沉澱到一個體系中,變成數據開發的能力,變成可以複用,二次加工的數據服務工廠,加快數據開發和協作的速度。

    我們可以廣義上來給數據中臺一個企業級的定義:“聚合和治理跨域數據,將數據抽象封裝成服務,提供給前臺以業務價值的邏輯概念”。

    從T+N到T+0,數據中臺將融合OLTP和OLAP,爲前臺業務提供更快的數據類業務服務

    十幾年前,數據處理的流程分成兩類,聯機交易處理類(OLTP)和聯機分析處理類(OLAP),分別對應兩類業務需求:“T+0”和”T+N”,這是因爲軟件的計算能力有限,生產系統無法容納歷史數據的查詢統計功能,否則就會導致海量數據的查詢,拖垮生產系統的正常交易。所以不得已一個業務系統分成了兩個:交易型系統和分析型系統,前者用來處理最新的交易業務,後者用來對歷史的、集成的、多維的數據進行分析,支撐業務。

我們舉一個常見的電商價格策略調整的場景,原來的電商系統的價格是提前設置好的錄入到電商系統數據庫的,電商系統是OLTP也就是在線交易系統。電商系統對於實時性能要求很高,處理的併發交易量很大,爲了提高數據庫的處理速度,電商系統只保存一段時間內的交易數據,而把歷史數據都歸檔到數據倉庫系統也就是OLAP系統裏。電商的運營部門定期會在OLAP系統裏挖掘歷史數據來分析不同的商品的交易數據和價格的關係,然後決定電商系統的價格是不是需要調整。所以傳統電商系統,產品價格的變化需要一個比較長的週期的。到了今天,價格本身受影響的維度越來越多,市場需要電商系統的價格能夠實時的根據歷史數據進行變化,這樣一來,傳統的OLTP和OLAP分離的架構就不能夠滿足業務需求了。

    隨着大容量高速存儲技術的發展、計算能力的提升、微服務、大數據架構的出現,OLTP和OLAP在逐漸融合:應用系統能夠實時的基於多維、多渠道、歷史數據的分析來定製化交易流程和和行爲。OLTP和OLAP從平行的關係,變成垂直的關係。

    剛纔舉的電商的例子是互聯網時代的典型場景,而對於比較傳統的金融保險行業來說,目前也正面臨着這樣的挑戰。很多保險產品的報價需要進行信息蒐集,評估,審覈,而這個過程就是數據的採集,建模,評估,模擬的過程,過去這樣的業務都是”T+N”,就是從接到交易申請到給出結果,需要N天,而現在市場的競爭愈加激烈,更快,更準確的給出報價,所以業務要就能夠儘量做到”T+0”,實時響應市場的需求。

    這就意味着要把原來的OLAP的歷史數據分析,建模,評估的過程和OLTP系統裏的交易數據進行融合分析才能夠做到。

我們觀察到,從金融保險到電信製造,原來傳統的”T+N”的需求都在朝”T+0”演進,大家都在尋找高響應力,快速反饋的實時分析型數據數據處理架構,將數據從原來傳統的經營分析領域演進到直接參與業務交易。

    所以我們認爲未來的交易型系統,都會變成分析型交易系統(Analytic  Transcation Processing),具有跨域、全量數據分析的支持能力,用數據分析來支持交易的動態敏捷變化,高速響應市場和用戶的需求,而OLTP和OLAP也會在雲計算,微服務,大數據等技術支撐下逐漸融合。

2.數據中臺和數據倉庫,數據平臺的關係是什麼?

下面這張圖說明了企業對於數據處理需求的變化和演進:

    早期,企業的數據是少量的,利用Excel等數據文件處理工具來進行統計和手工分析。

    然後,企業希望能夠更快的處理比較多的數據,就有了數據倉庫的出現,也希望利用數據來支撐運營和分析。接下來不僅有了結構化數據,還出現了非結構化數據,並且運營對於數據的需求越來越多,數據量也越來越大,這就出現了大數據平臺,去處理各種不同格式,不同領域的數據,這個過程都是業務數據化的過程。

    到數字化的今天,企業不僅希望事後的運營能夠靠數據支撐,更希望構建數據驅動的業務本身,所以,企業需要將這些數據變成一個個業務服務應用到業務本身,參與到業務流程,業務應用的過程中,去改變和驅動業務行爲,這也就是”數據業務化“,我把”數據業務化“理解成是”數據業務服務化“的簡稱。

    這個過程,就能很清晰的解答數據中臺和數據倉庫,數據平臺的關係。

    第一,他們不是一個維度的東西,數據倉庫和數據平臺是提供數據的系統,而數據中臺是提供業務服務的系統,數據中臺是能夠直接爲業務提供數據服務的。但是數據中臺是需要構建在數據之上的,所以,數據中臺是可以構建在數據倉庫、數據平臺之上的。   

    第二、數據中臺能夠以提供數據服務的方式直接驅動和改變業務行爲本身,而不需要人的介入,數據中臺距離業務更近,爲業務產生價值的速度更快。

    一句話來總結,數據倉庫,數據平臺提供的是數據本身,而數據中臺提供的是有直接業務價值的數據服務,數據中臺距離業務更近。

3.數據中臺建設的最大的挑戰是什麼

    數據中臺建設的最大挑戰,是如何找到有價值的業務場景。

    數據中臺是一個能力平臺,是將企業的數據能力封裝到一個平臺中,快速提供給業務前臺使用的工作。那麼企業需要什麼樣的數據能力,哪些業務需要這些能力,這些數據能力之間的關係是什麼?這是一個體系化的工作,是需要進行整體規劃和頂層設計的。

    數據中臺從出生那一天起就承擔着爲業務提供更快的數據服務的使命,所以它是和業務價值緊密綁定的,不能提供業務價值的數據服務就是一種浪費。所以如何能夠找到,識別出有價值的業務場景是數據中臺建設的最大,也是最緊迫的挑戰。但是這裏就有一個矛盾,業務場景是不斷被挖掘和演進的,是快速變化的,而作爲能力平臺是要支撐全場景的,是要相對穩定的,如何平衡這兩者之間的關係呢?

我們總結了數據中臺建設的三大策略:圍繞業務價值,演進式架構,要有戰略耐心。

業務價值策略:

    數據中臺建設應該以'業務價值爲綱,生於業務場景,高於業務場景,始於業務場景。'

    數據中臺的建設需求,要圍繞業務價值產生。所以所有的功能設計要有對應的業務場景需求爲根源,但是數據服務是要抽象, 建模,複用的,所以數據中臺在業務場景的基礎上要高於業務場景,完成總體的架構設計。

最終建設的時候,我們不建議那種傳統的分層的方式,而是在總的架構設計爲目標,要從某一個業務場景出發建設,從業務價值,平臺能力和數據治理三個方面同步建設。

演進式架構策略:

    數據中臺的建設應該”快規劃,重場景,輕標準“。

    我們所說的規劃,不是那種傳統意義上的很重,很細緻的流程層面的IT規劃,而是比較快,比較輕的,圍繞業務價值的場景探索式的規劃。要輕標準,不要試圖去做一個放之四海皆準的企業級數據中臺標準,並且定製的很細緻,要充分理解市場的動態性,標準一定要輕量,越重實施起來就是枷鎖,很難落地。

戰略耐心策略:

    投資方和建設方都要有戰略耐心。

    投資方要清晰的認識到數據中臺是一個賦能平臺,是一個體系化的工作,融合了技術、組織、能力、機制等多個因素,不是一蹴而就的,所以要有一定的耐心給到數據中臺的價值露出。

    建設方也要清晰地認識到數據中臺是一個複雜工程,是一個演進迭代式的建設工程,是不能畢其功於一役的,要有策略,有步驟的去建設,不要試圖做一個大而全,大一統的平臺。要服務於業務,高於業務,要深入到業務場景當中去才能獲得業務的支持,獲得持續的生命力。

    在以上三個策略的基礎上,我們在過去的實踐中,設計和總結了一套精益數據探索方法(LDD),通過四個階段來產出數據中臺的建設路線。

     

5.數據中臺裏的數據質量應該如何保障?

    過去這麼多年的經驗教訓告訴我們,數據質量的問題是不可能百分之百解決掉的,因爲業務變化的速度快於數據變化的速度,這是一個客觀存在的而且短期內不可能改變的事實。我們最應該關心的應該是數據如何能夠給業務產生價值,即使只有50%的數據準確度,在治理數據質量的同時,依然要找到這些數據可以爲業務產生價值的方法和場景。

    這個問題應該改成,如何治理好現有的數據爲業務產生價值。

    數據治理是要服務於業務場景的,而傳統的數據治理方法,更多的將數據和業務獨立了出來,最後數據治理項目的成果基本上可以歸納爲創造了”三個一“工程:

    一堆新崗位:傳統的數據治理項目一般會產生一堆新職位,比如主數據管理員,物料管理員,數據治理委員會等。

    一摞新流程:一批新的流程和標準會發布出來,告訴所有的業務項目組,應該遵循這個流程來管理數據。

    一批新系統:會上線一批數據管理系統,將流程和規則固化到系統中。

    但是,很少有數據治理項目能根本上解決數據質量的問題,並且有些項目導致業務的速度變慢了,最後都流於形式和標準。

    這是因爲傳統的數據治理都是管控式治理,而不是服務式治理。他們的目標是把數據標準定出來,然後讓業務服從於這個數據標準,卻忽視了,數據標準是爲了業務服務的。

    所以,在精益數據創新體系中,我們提倡和實踐新的治理方法:精益數據治理(Lean Data Governance):服務式治理,重場景輕標準,元數據驅動

             

    服務式原則:

我們實踐服務式的治理,輕管控,以解決業務問題爲目標,而不以數據質量爲唯一目標

    場景核心原則:

數據標準越輕越好,強調與業務場景的融合,能夠服務好業務場景,產生業務價值的數據標準就是好標準

    元數據驅動原則:

原來的數據治理很多都是事前進行管控,讓業務服從於數據管理,比如主數據的管理,需要有事前審批。而我們現在更多的在實踐利用元數據驅動的數據管理的方式,將審批流程弱化,通過自動化數據技術,讓業務無感,從事前管控變成事後歸因。不影響業務交易的速度,將複雜的事情坐在後端。

6.數據中臺的典型架構是怎樣的?

    數據中臺是直接服務於業務系統的數據服務工廠,狹義上講,數據中臺就是可複用的數據API。

    站在企業架構的角度,從廣義上來講,數據中臺(包含數據平臺,數據倉庫)應該提供的服務如下圖所示:

     

1.數據資產的規劃和治理

做中臺之前,首先需要知道業務價值是什麼,從業務角度去思考企業的數據資產是什麼。數據資產不等同於數據,數據資產是唯一的,能爲業務產生價值的數據。對於同一堆數據,不同業務部門所關注的數據指標可能完全不同,怎麼讓各個跨域的業務變成統一的標準,就需要規劃企業的數據全景圖,將所有有可能用上的、所有對企業有可能有價值的數據都規劃出來,最終梳理出企業的數據資產目錄。在這個時候不需要考慮有沒有系統、有沒有數據,只需要關注哪些數據是對企業業務有價值的。這一層不建議做得太細,太細就難以形成標準,不能適用於多個場景了。數據治理是數據中臺很重要的一個領域,ThoughtWorks認爲在現在業務邊界消失、需求快速變化的情況下,企業需要具備精益數據治理的能力——Lean Data Governance。傳統的中心化、事前控制式的數據治理方式,要改變爲去中心化、事後服務式的治理方式。

2.數據資產的獲取和存儲

從廣義上來講,數據中臺要爲企業提供強大的數據資產的獲取和存儲的能力。但是這個能力不是數據中臺的核心功能,很多企業可以基於原來的數據平臺,數據倉庫等已有的工具來提供數據採集和存儲的能力。

3.數據的共享和協作

企業的數據中臺一定是跨域的,需要讓所有的人都知道數據資產目錄在哪裏。不能因爲數據安全,就不讓大家知道企業有什麼數據。沒有共享和開放,數據沒有辦法流動起來,沒有流動的話數據的價值產生的速度就會非常慢。所以在數據安全的基礎上,企業的數據資產目錄要對利益相關者、價值創造者開放,要讓業務人員能夠做到“Self-Service”。

數據資產目錄是數據中臺很核心的一個基礎能力,但是往往目前很多的企業都尚未建立這個能力,這也是導致數據在企業內部不開放,不共享,不被利用的很重要的一個原因。

4.業務價值的探索和分析

數據中臺不僅要建立到源數據的通路,還需要提供分析數據的工具和能力,幫助業務人員去探索和發現數據的業務價值。一個好的數據中臺解決方案中需要針對不同業務崗位的用戶提供個性化的數據探索和分析的工具,並且在此基礎上一鍵生成數據API,以多樣化的方式提供給前臺系統。

5.數據服務的構建和治理

數據中臺需要保證數據服務的性能和穩定性,以及數據質量和準確性,還需要具備強大的服務治理能力。數據服務要在一開始就有整體的頂層設計,從而能夠將數據服務做分類,打標籤,能夠更方便的被搜索被調用,讓好的服務浮現出來,讓質量不高的服務自動的退市被銷燬。

數據中臺是一個生態平臺,在數據中臺上面會不斷生長各種數據服務,所以從一開始就構建好數據服務的治理結構是非常重要的,就想經營一個市場一樣。

6.數據服務的度量和運營

如果數據中臺最終只是做到把數據給到業務人員,那它就只是一個搬運工的角色,數據中臺的核心是爲業務應用提供有業務價值的數據服務。所以度量和運營數據服務的能力是數據中臺的業務能力。

數據中臺應該能夠對提供的數據服務及相關行爲做持續跟蹤和記錄,包括哪些數據服務被哪個部門使用、用了多少次等,通過這些去度量每一個數據服務的業務價值。

數據中臺是一個需要用互聯網思維去經營的利潤中心平臺,數據中臺的經營分析人員需要分·析務,瞭解爲什麼今天上午這個財務部門的人用了數據中臺、調用了十次,下午他不用了,原因是什麼,調用了這些數據服務的人通常還會調用哪些其他的數據服務。這些都需要相應地做記錄、做日誌、做分析,要把數據當做像電商平臺一樣去經營,然後實時地根據這些業務行爲數據去提醒數據服務提供方,調整、改變、優化數據服務,這纔是可經營的數據中臺,也只有這樣業務部門才能得到最快的支持和響應。

在這樣的一個功能願景下,我們初步定義了一個數據中臺的典型邏輯功能架構:

     

這個架構中,把數據中臺比喻爲數據工廠,具備數據工廠的典型功能架構。

7.數據中臺和業務中臺服務有什麼區別

應該如何去界定和劃分?

    在目前,與數據中臺齊名的還有業務中臺,但是業務中臺和數據中臺有什麼區別呢?

    數據中臺和業務中臺都是爲業務系統提供服務的中臺層,他們的區別在於提供的服務不一樣。

    我們舉幾個例子:

    多個電商渠道使用一個下單服務,一個訂單接口同時爲多個前臺系統提供服務,這是業務中臺提供的能力。

    多個前臺系統,根據一個用戶的手機號,獲取對應的畫像,用戶的標籤,這是數據中臺提供的服務。

    將多個支付通道,抽象建立成一個支付API,暴露給前臺業務系統,這是業務中臺提供的能力。

    通過一個訂單編號,來獲取可能的商品推薦清單,從而做到交叉銷售,這是數據中臺提供的服務。

    所以,我們可以總結一下:

     

    業務中臺提供的是可複用的流程類,交易類服務,是爲了讓業務交易同口徑,讓前臺系統更標準,更規範,迭代速度更快,解決效率和產生數據不一致的問題。對應到API,是業務命令式API。

    數據中臺提供的是基於跨域數據的分析,洞察,訓練產生的數據服務,是給前臺系統提供實時決策數據。對應到API是,計算類的智能API和查詢類的數據API。

    一句話總結:業務中臺讓前臺系統更敏捷,數據中臺讓前臺業務系統更智慧。

 

8.企業數據中臺的團隊如何構建?績效如何評價?

數據中臺是距離業務更近的能力平臺,數據中臺是一個需要持續運營的數據服務業務平臺,所以數據中臺的團隊不僅僅是一個技術團隊,應該將數據中臺當做一個產品團隊來構建,整體的結構如下:

     

數據中臺提供兩類服務:

一類是數據資產目錄,數據探索,數據分析等服務,讓業務和應用部門的人員能夠在數據中臺上協作的玩數據。

一類是數據服務,讓各個業務系統能夠調用這些服務,包括決策分析類的非實時服務和實時的嵌入式交易規則服務。

對應到這兩類服務,數據中臺的團隊應該包括以下三組:

中臺運營團隊:

將整個數據中臺的服務和功能作爲產品來運營,對應的績效是用戶滿意度,用戶存留,這些用戶相關的指標。

中臺開發團隊:

負責數據中臺的功能層開發,包括平中臺本身的架構,中臺上的應用(客戶服務,業務監控等)功能的開發,對應的績效是功能的穩定性和客戶的滿意度。

數據服務開發團隊:

負責數據中臺之上的數據服務的開發,包括數據處理鏈的開發,服務的開發等,對應的績效是數據服務的穩定性, 性能和客戶的滿意度等。

參考這樣的三個團隊組成, 分別應該包括如下角色:

數據中臺架構師:進行整體數據中臺的技術架構設計,保證數據中臺架構的可持續性,穩定性和擴容彈性。

DataOps工程師:從基礎能力上保障數據中臺的運行的穩定性和持續演進。

數據工程師:數據處理工程師,負責數據的獲取,處理,建立數據處理鏈。

數據服務產品團隊:數據服務的產品團隊,包括產品經理(PO),業務分析師,體驗設計師,還有算法工程師,和數據工程師和數據運營分析師一起協作,創新、設計、生產數據服務。

數據運營分析師:將數據服務作爲產品來運營的數據運營分析師,通過對數據服務上線後被調用的情況的分析來運營數據服務,像經營一個互聯網產品一樣來經營數據服務。

數據中臺某種角度上,上是一個數據服務的創新、生產、交易的數據服務市場,那麼企

業對於數據中臺整體的績效評價方法也就出來了,那就是:

企業評價數據中臺的標準:數據中臺服務的客戶,也就是業務系統的滿意度。

那麼如何度量業務系統的滿意度呢?我們認爲,標準很簡單,也很清晰,那就是數據中臺提供的的數據服務被業務系統,被業務人員使用的頻率。業務人員和業務系統調用多的服務,一定是對業務更有幫助的數據服務。

最後,我們在回顧一下這八個重要的問題及解讀:

1.數據中臺是什麼,數據中臺對於業務的價值是什麼?

        數據中臺是數據服務(Data API)工廠,打造高數據響應力的企業

2.數據中臺和數據倉庫,數據平臺的關係是什麼?

        數據倉庫,數據平臺提供的是數據本身,而數據中臺提供的是有直接業務價值的數據服務。

3.數據中臺建設的最大挑戰是什麼,應該遵循什麼策略?

        數據中臺建設的最大挑戰,是如何找到有價值的業務場景。

        數據中臺建設的三大策略:圍繞業務價值,演進式架構,要有戰略耐心。

4.數據中臺的數據質量應該如何保障?

        正視數據質量的問題是客觀存在的,採用提倡和實踐新的治理方法:精益數據治理(Lean Data Governance):服務式治理,重場景,元數據驅動

5.數據中臺的典型功能架構是怎樣的?

        廣義的講數據中臺是直接服務於業務系統的數據服務工廠

6.數據中臺和業務中臺服務有什麼區別,應該如何去界定和劃分?

        業務中臺讓前臺系統更敏捷,數據中臺讓前臺業務系統更智慧。業務中臺提供交易API,數據中臺提供數據和智能API

7.企業數據中臺的團隊如何構建?

    要按照運營一個互聯網平臺式產品的方式來組織數據中臺的團隊。

8.數據中臺的績效如何評價?

        數據中臺服務的用戶和業務系統的滿意度是數據中臺的績效

轉載自:http://www.360doc.com/content/19/0402/13/50656572_825918292.shtml

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章