淺談數據中臺的那些故事

近些日子,數據中臺受到政府、集成商、供應商羣起追捧,恨不得奉它爲女神維納斯.....可是很多人知其然不知其所以然,這層薄紗後面到底是人還是神?下面且聽鄙人細細解說:

作爲售前不得不關注東家的喜好,東家要上數據中臺,你還得請教馬爸爸。阿里爲什麼要上數據中臺了?由於本人也沒進過阿里,只是聽坊間小道消息有這樣說:因爲阿里有1688、taobao、tmall、支付寶、螞蟻金服等衆多平臺系統,數據需要互聯互通,那麼就存在這數據孤島、標準不統一、數據接口繁雜等問題,所以馬爸爸提出來數據中臺,緊接着技術中臺....阿里的確是很厲害,不僅技術厲害,思想還很新潮有用。

近些日子,本人跟很多企業客戶溝通了解到,數據中臺他們理解可能不完全一致,但基本有以下共識,我補充總結下。數據中臺主要功能點:

1.數據採集:由於多個藩臺,手握衆多數據,獨立自治。這導致總理機關缺少各地信息,號召數據全部匯聚到一箇中心地方,這便是第一步工作。

2.數據存儲:由於多地數據匯聚到了一箇中心,當初機房還能存,一下子不夠用了。好吧,服務器陣列碼上,碼上之後發現數據上億萬條讀不出來,好吧,來分佈式存儲數據庫hive/hbase/spark/mpp一起上起來。這便是第二步工作。

3.數據治理:數據是進來了,發現數據特麼的全是格式不一致、數據類型代碼集不一樣、各地參照的國標行標不一致,全是問題。尼瑪咋整?好吧,數據得建立一個統一標準管理、統一元數據管理、統一數據質量管理。這便是第三步工作。

4.數據接口:數據治理好了,立馬頭疼好了,誰的數據不對我找誰去,讓他解釋整改去!V587我的哥!但是,別人的部門要取數據,發現還得直接撞庫,這樣一來數據安全、數據權限亂套了.....好吧,統一數據服務接口,誰要數據得憑你的令牌來,我就給你多少數據,並且統計一下接口調用的頻率和日誌。這便是第四步工作。

5.數據讀寫可視化:前面四大步搞定數據中臺主要工作了,領導來看建設成果,咋整?我們做一套三維可視化,把數據從源端到目標端的存量展示下吧,讓領導看看數據情況。這便是第五步。

6.如果你還要搞數據挖掘、數據分析,請自行腦補,這個太多案例,,,,不一一贅述了。

至此,我把數據中臺故事淺淺的講完了,如果還不過癮可以移步QQGroup935793192。Goodbye!

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章