數據質量保證若干步驟

1、管理層面:
     數據質量標準(完整性、唯一性、有效性、一致性、正確性);
     數據質量針對具體的數據內容,進行數據內容進行系統檢查;
2、業務層面:
     數據質量關鍵對象(CTQ):業務上最重要的部分對應的數據;
     對已發現的問題進行訪談調查,
     數據剖析:
     數據概要分析,對數據源表中值進行系統化的預先分析,可以幫助發現業務的實際規律,從而補充考覈規則;
3、業務+技術
     業務規則(BR:Bussiness Rule):
     轉換成SQL或應用程序進行檢查;
     數據質量的測定
     制定BR後,進行加權和錯誤對象統計,計算當前數據質量指數;
4、數據質量管理流程
     制定數據質量標準:制定數據質量指標(DQI)->CTQ選定(CTQ候補選定->CTQ重要度量指標->CTQ擴張)->業務領域選定(系統信息設定->元數據信息搜取)
     數據剖析:數據剖析對象選定->文件設置(字段、關係、模型、日期、編碼、有效值分析)
     BR選定:CTQ應用對象字段分析->按字段導出BR->BR擴展
     數據質量診斷:BR測定及質量診斷->配置分析
     改善、清洗:錯誤原因分析->制定改善、清洗計劃->數據清洗,之後再進行診斷;
5、系統級數據質量管理流程示例
     逆向數據建模(依託當前數據庫)->數據標準化->構建當前數據架構(當前數據分析)->構建目標數據架構(參照已有經驗模型及企業數據標準,生成目標模型)->BR導出及質量檢查模塊生成->ETL數據遷移->抽取錯誤數據->數據清洗(循環)
6、數據質量管理系統(DQMS)
     標準管理->數據剖析->數據架構質量->分析及評估->質量檢驗
7、數據質量工具和ETL工具結合

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章