数据中台的角色和定位

数据中台的概念提出很多年,很多企业运用的也很深入了,虽然听的很多,不过在过往的工作经历中没有体会到数据中台的必要性,对数据中台的角色和定位很模糊。

什么是数据中台?

数据中台有哪些功能?

我的业务是否需要数据中台?

近年由于工作中不同场景的切换应用,体会到数据中台的用武之地,实操了不少数据平台的使用。以工作经历和使用视角进行来诠释数据中台。

 

一、工作中出现的麻烦

1. 需要使用其他业务系统的数据,如何做?

通用做法:和对应业务系统研发团队进行业务对接,定义好需要的业务数据结构,双方通过开发接口实现数据的访问。

弊端:沟通代价大(跨部门甚至跨企业)、实施周期长(从需求、开发到测试对接一整套流程)、开发成本高(普遍需要定制开发费用)。

思考:这种高频出现的需求,能否找到一套直接实现数据间交互的方法,免去不同团队之间的理解拉平成本。

 

2. 历史业务大量沉淀的数据都是文件格式(如excel), 如何利用甚至分析这些数据?

通用做法:需要使用的时候,找到对这块业务很熟悉的同事,进行手工整理及统计。

弊端:数据完整性不确定、数据准确性不确定,数据分析很主观。

思考:是否有工具将这种数据实现定期同步到数据库,进行数据应用和分析。

 

3. 历史数据错误率很高,不同业务系统拥有同纬度数据,但数据又不统一,怎么做数据校验及修正?

通用做法:每个业务系统各成一派,觉得数据不对,进行各自系统的维护。

弊端:无法形成正确有效的数据资产。

思考:建设一套公共数据仓库,统一维护管理,对外通过接口实现数据共享。

 

二、数据中台的诞生

需要一套包含数据入库、数据治理、数据分享的平台来完成上述工作中的痛点,这就是典型的围绕数据仓库的初步数据中台定位。

 

 

三、数据中台的组成

1. 数据集成(ETL):通过低代码方式实现数据同步、数据迁移,形成数据数仓化,应该包含功能:数据源管理、离线数据同步、实时数据同步、数据迁移监控及预警等功能

 

 

2. 数据集市(API集市):通过数据模型、SQL、脚本、存储过程等可以无代码快速实现90%的API快速开发,包含API注解式开发、API网关、API部署及资源监控等功能

 

 

3. 数据清洗平台:定义数据标准,统计及分析数据质量,低代码式数据修复及验证。

 

通过数据集成、数据清洗、数据集市实现数据拿得到、可管理、用起来的业务目标。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章