數據中臺真實應用案例
什麼是數據中臺
首先我們需要知道數據中臺怎樣理解:
- 阿里提出了“大中臺，小前臺”，其中臺事業部包括搜索事業部、共享業務平臺、數據技術及產品部，數據技術及產品部應是數據中臺建設的核心部門。
在概念數據倉庫、數據平臺和數據中臺這三者之間的區別是什麼:
-
數據中臺是企業級的邏輯概念，體現企業 D2V（Data to Value）的能力，爲業務提供服務的主要方式是數據 API；
-
數據倉庫是一個相對具體的功能概念，是存儲和管理一個或多個主題數據的集合，爲業務提供服務的方式主要是分析報表；
-
數據平臺是在大數據基礎上出現的融合了結構化和非結構化數據的數據基礎平臺，爲業務提供服務的方式主要是直接提供數據集；
-
數據中臺距離業務更近，爲業務提供速度更快的服務；
-
數據倉庫是爲了支持管理決策分析，而數據中臺則是將數據服務化之後提供給業務系統，不僅限於分析型場景，也適用於交易型場景；
-
數據中臺可以建立在數據倉庫和數據平臺之上，是加速企業從數據到業務價值的過程的中間層。
如何應用
簡單來說,數據中臺應該爲我們的業務服務提供api或者數據源,幫助業務提供更加優秀的數據服務,那麼在中小型企業中,同樣面臨數據量大,業務場景複雜,我們在技術架構上如何構建自己的數據中臺來處理大數據,實現業務服務熱拔插呢?
這是一個簡單的架構圖,我們可以理解從客戶端到數據中臺,服務就走完了一個完整的服務流程.
數據中臺不主動向DB索要數據,而是等着DB給他發送數據,這樣做有什麼好處呢,在實際開發中,業務服務.數據中臺.還有DB之間的業務相互不影響,又可獨立開發,又可協同發開,不會讓三者其中之一的不良因素擴散到整個系統
實際架構
這是本次案例的架構設計方案
從客戶端發送的請求到了我們的MongoDB,也就是我們的數據中臺服務之後就返回數據,而在業務數據生成以後,會異步發送到生成數據的服務,這一部分的數據就會回到我們的運維平臺,經過效驗和洗禮,存儲到我們的靜態數據庫
.而當業務服務要開發新的業務功能時,他首先會向數據中臺發出數據要求,數據中臺就需要向運維平臺索要數據,DB便開始在靜態數據倉庫中需找該需求需要的數據,此時三個平臺都是並行開發,都可以優先處理自己的業務需求,在數據結構需求確定的情況下,在對接時簡化了很多步驟,每個平臺都環環緊扣又各自獨立,完成好自己的工作便就達成了團隊協作
每當一個業務功能失去它的意義時,甚至只需要停止業務服務的提供就行了,在數據中臺中甚至可以物理刪除掉這一部分數據,這樣在業務開發時,每個業務都可以熱拔插
補充
雖然此次的案例相比網上其它的數據中臺方案顯得渺小和過於簡單,但是我認爲它是數據中臺的一個雛形,在特定場景的一些企業裏面,這樣簡單的架構方案更能解決實際的問題,至於完善和龐大的數據中臺需要不少人力和時間的支持