[数据治理]数据治理领域存在的问题

【个人对数据治理的理解】

汇聚多(数据)源,构建数仓 => 形成 数据中心[资源结构]

数据迁移/融合,统一数据标准,提升数据质量 => 形成 数据中心[资源数据]/数据资产

数据标签化,数据服务化 => 实现 数据变现 

2不3难:
事后型治理,不一致 / 被动型治理(治理体系被分割),不高效 / 误区型治理,难聚焦 / 项目型治理,难延续 / 兼职型治理,难落地

​	组织架构 / 数据治理工作流程(制度化) / 线上系统化
【数据治理工作流程(制度化)】执行层面,合理的治理流程是怎样的呢?
+ 业务架构梳理,界定范围
+ 拉通业务场景
+ 业务对象和业务元数据梳理(元数据管理)
+ 数据标准和数据规范制定(数据标准与数据质量规则)
+ 总体计划和方案制定(不同类型问题的解决方案)
+ 执行落地(方案落地)

【线上系统化】针对前期人工积累的数据治理内容,在系统上实现配置、自动监测告警、执行计划推送,实现数据生命周期管控。
+ 配置表字段的规则
+ 生成质量监控任务
+ 针对不同类型质量任务,推送解决策略

本文根据神策数据联合创始人 & CTO 曹犟发表的《数据治理中的一些挑战与应用》主题演讲整理而成。

  • 数据治理的概念与重要性
  • 数据治理面临的挑战
  • 数据治理与组织架构
  • 数据治理中的应对
[数据治理面临的挑战]
+ 多业务系统多数据源的整合挑战
+ 数据采集技术上的挑战
+ 用户隐私与安全挑战
+ 组织架构与部门隔阂带来的配合
+ 业务持续迭代中带来的挑战
[数据治理的三大原则]
数据治理原则 1:不要先污染后治理,要从源头控制
数据治理原则 2:数据治理的过程要贯穿到整个业务迭代的过程中
数据治理原则 3:以产品化、组件化的思路来解决,不能依赖于人工
数据源头不明确,造成数据唯一性、准确性问题

数据采集后,格式不统一,不完整,造成数据完整性、语法问题

数据不及时,造成时效性、准确性等问题

数据共享问题,有些数据仍不能方便地获得,或不能保障周期性地获得准确实时的数据

对历史数据和冗余数据尚无统一完善的处理办法
1 有效的高校内部数据标准体系,包括数据标准、管理标准、质量标准等内容,并保证各业务部门、各业务系统能得到落实与管控。

2 完成各业务系统的整合工作。

3 评估数据质量,生成数据质量报告。
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章