浅谈对数据中台理解

背景

​跟同学朋友聊天的时候会被问到什么是数据中台,这个概念从阿里提出并实践已经有4年左右,但这个概念今年是真正在互联网圈内流行,很多人都听说这个概念,但它到底是什么,有什么用,可以用在哪些场景却很模糊,这里聊聊个人的理解。

数据中台是什么?

数据中台是马云在参观supercell公司后提出的理念,即大中台小前台,大中台是通用基础技术能力,小前台是指更灵活多样的领域业务。通过强大的中台能力就可以赋能并让小前台快速迭代适应业务需求。

在这里插入图片描述

没有中台,每个业务都是相互独立,很多工作从头做起,在计算机技术领域现象就是重复开发工具。如果有中台把可复用能力强化整合起来,上层业务可以直接基于中台已有的去实现目标,这样达成目标的路径更短更高效。

这个概念可以比喻到军事作战行动。美军在攻打伊拉克、叙利亚的时后方五角大楼指挥部就是大中台,前线作战10人规模左右的小组就是小前台,中台通过空军、雷达等各种技术手段分析战略战术并把信息传达给前线作战士兵,前线士兵也可以根据一线战况反馈到中台,获得中台空军和火炮力量支持。这样看表面上一个士兵并不算什么,但这个士兵可以给中控五角大楼请求支援,能拥有飞机、导弹等强大打击能力。

在阿里的发展历程中,数据中台是在经历几个甚至几十个数据团队烟囱式迭代发展过程中顺应统一的需求中沉淀下来的架构理念。(注意数据中台是一个理念,并不是字面含义的一个平台或者系统。)

它并不是一开始就设计出来,最开始业务为了快速发展,会快速满足各自需求场景,但是在众多业务发展起来后,发现很多问题,例如不同团队数据口径命名不一致、数据表冗余重复开发、数据产品工具重复造轮子等问题,这些问题会逐渐拖慢前线数据团队的开发效率和跨团队数据共享流通。因为这些问题的解决和马老师提出来的理念进行融合,数据中台理念逐渐成型。

在这里插入图片描述

本质上数据中台理念包括方法、工具和组织三者相辅相成。方法是战术方法路径;工具是保证战术执行客体;组织使用工具来保障路径落地的以人才为核心的主体,三者相辅相成来帮助数据中台落地应用。

1)数据中台方法

包括统一数据服务、统一数据加工方法和统一数据模型。

  • 统一数据服务包括统一的元数据查询和数据接入应用能力

  • 统一数据加工方法包括统一的数据命名知识、开发规范和统计口径等

  • 统一数据模型包括统一的数据仓库分层,上层应用数据提供给业务方使用,中下层数据保持统一,减少数据冗余

2)数据中台工具

数据中台工具比较广泛,涉及整个大数据技术体系,包括从数据采集、数据ETL计算、存储、调度、分析和展现等一系列平台组成。这些工具的目标是要可以支持多样业务、庞大数据量并且可以让业务快速便捷接入,获取中台技术能力

3)数据中台组织

人才前两个条件的有力保障,需要相关领域的技术、运营和B端产品共通协作来打造整个数据中台体系,把业务抽象沉淀到中台能力并落地应用。

数据中台有哪些作用?

前面介绍了大量中台概念,那数据中台的作用想必不难推导出来。规范化的数据采集、定义、开发和使用流程,从而达到数据服务通用、数据标准统一、数据内容一致的目标,这个流程一旦统一起来可以让数据很方便被业务使用,加速数据流动和被挖掘的效率,让数据金矿更好被挖掘使用从而助力企业发展。

数据中台适应什么场景?

这里想重复一句老话:适合的就是最好的。
虽然现在它的名字被叫作数据中台,但核心理念跟过去其他行业的资源整合统一、集中化和中央管理等概念如出一辙,简单说就是合并同类项,把相同功能等分散资源整合强化,向业务提供更一致、更便捷的功能服务。但数据中台也有自己的不同,它强调数据领域的通用、统一和一致并向上提供强大便捷服务。

  • 从这个角度看,对于初创公司其实只有一个数据团队对上层提供所有数据服务,其统一的数据工具就满足数据中台特点,初创公司需要做的就是在建立之初把数据定义、数据ETL加工模型进行统一规范,形成标准化通用的数据产品平台。

  • 对于中小公司,可能除了公司层面数据团队外还有业务数据团队,那公司层面数据团队就会承担数据中台的定位,除了打通数据、规范数据定义及ETL流程,还需要把各业务需求进行抽象整合,减少各业务数据团队重复开发。

  • 互联网大公司目前基本上都已经形成大中台小前台,不同的只是落地的细节和程度。

当然数据中台并不能包治百病,中台聚焦的是非业务的通用部分,不能仅关注通用而不管业务需求,仍然需要保持对业务现状及未来发展的理解,从短期和长期角度有效帮助业务发展。

建设数据中台要消耗长期的人力物力时间,其目的是通过流程规范和服务来降本提效,对数据中台的评价只有看其对企业当前及长远发展是否有利。可能某些情况下人力不足,发展重点就是尽快满足业务迭代试错,这时如果去发展数据中台就不一定适合,需要因地制宜,适合的就是最好的。

参考:
https://blog.csdn.net/sinat_26811377/article/details/102615792
https://dp.alibaba.com/index

微信原文

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章