数据质量保证若干步骤

1、管理层面:
     数据质量标准(完整性、唯一性、有效性、一致性、正确性);
     数据质量针对具体的数据内容,进行数据内容进行系统检查;
2、业务层面:
     数据质量关键对象(CTQ):业务上最重要的部分对应的数据;
     对已发现的问题进行访谈调查,
     数据剖析:
     数据概要分析,对数据源表中值进行系统化的预先分析,可以帮助发现业务的实际规律,从而补充考核规则;
3、业务+技术
     业务规则(BR:Bussiness Rule):
     转换成SQL或应用程序进行检查;
     数据质量的测定
     制定BR后,进行加权和错误对象统计,计算当前数据质量指数;
4、数据质量管理流程
     制定数据质量标准:制定数据质量指标(DQI)->CTQ选定(CTQ候补选定->CTQ重要度量指标->CTQ扩张)->业务领域选定(系统信息设定->元数据信息搜取)
     数据剖析:数据剖析对象选定->文件设置(字段、关系、模型、日期、编码、有效值分析)
     BR选定:CTQ应用对象字段分析->按字段导出BR->BR扩展
     数据质量诊断:BR测定及质量诊断->配置分析
     改善、清洗:错误原因分析->制定改善、清洗计划->数据清洗,之后再进行诊断;
5、系统级数据质量管理流程示例
     逆向数据建模(依托当前数据库)->数据标准化->构建当前数据架构(当前数据分析)->构建目标数据架构(参照已有经验模型及企业数据标准,生成目标模型)->BR导出及质量检查模块生成->ETL数据迁移->抽取错误数据->数据清洗(循环)
6、数据质量管理系统(DQMS)
     标准管理->数据剖析->数据架构质量->分析及评估->质量检验
7、数据质量工具和ETL工具结合

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章