淺談公司大數據平臺的數據治理

近幾年大數據風生水起,隨着大數據業務的不斷開展,各大互聯網公司包括一些傳統企業都越老越重視數據價值的挖掘。

一、數據治理模型

在公司的日常運行中,各種數據分析和數據挖掘技術,爲公司發展決策和業務開展提供數據支持。以某互聯網公司爲例,公司內部也形成了一套完善的數據治理方案,核心就是由大數據平臺+數據倉庫+數據治理平臺+數據監控平臺來實現數據治理。
在這裏插入圖片描述

大數據平臺支撐整個大數據的運行環境
數據倉庫整合各個業務線的數據,消滅數據煙囪
數據治理平臺提供統一指標管理、統一維度管理、統一數據出口管理
數據質量負責監控數據資產質量狀態、持續推動數據質量監控優化預警、實時監控預警

二、常見問題

公司業務的不斷髮展加快了數據膨脹的速度,數據不一致等問題也隨之而來。同時業務部門的頻繁增加和剝離也會對數據治理帶來挑戰。

例如:不同業務線之間沒有統一的數據入口記錄和加工業務的發展過程;不同業務線的數據分析人員、數據開發人員,不同產品線之間缺乏有效的溝通,人員的流動也會產生一系列對接問題。

各個數據平臺和業務系統不同模塊的指標定義不一致
相同指標名稱對應計算口徑不一致
指標數據來源不一致

上述問題最終帶來的後果就是指標數據可信度低,從而嚴重影響數據分析決策。

數據治理不僅需要完善的保障機制,還需要具體的治理內容,比如我們的數據怎樣規範、元數據怎麼來管理、每個過程都需要哪些系

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章