淺談數據質量對企業管理的影響

今年上半年,企查查發誤導信息判賠螞蟻金服60萬。這是公共數據和數據質量的判決第一案。

同樣是今年,中國銀行保險監督管理委員會因監管標準化數據(EAST)系統數據質量及數據報送存在違法違規行爲對包括四大行在內的8家大型商業銀行開出1970萬元罰單。

越來越多的處罰案例,在提醒我們要重視數據治理,強調高質量的數據在發揮數據價值中的重要性。

是什麼因素導致上面這些處罰呢?筆者認爲這受兩個因素的影響:一個是不注意的、人爲所導致的;另一種因素,是因爲企業沒有能力和手段來對合規性進行監管,頻頻觸礁,最後嚴重影響了企業聲譽。由於缺乏數據質量管理會導致髒數據、重複數據、冗餘數據、數據丟失、數據不一致、無法整合、責任缺失,糟糕用戶體驗等等低劣數據質量問題。然而這些問題其實是可以避免的,合理利用數據治理平臺,則會讓你打卡一個新天地。具體說來,就是需要對數據質量進行測量,而提升數據質量則需要數據質量檢測系統。

工欲善其事,必先利其器。億信數據質量管理平臺(EsDataClean)提供從標準定義、質量監控、績效評估、質量分析、質量報告、重大問題及時告警、流程整改發起、系統管理等數據質量管理全過程的功能。讓企業能夠一站式輕鬆搞定質檢全過程,其內置質檢規則已多達16種,靈活滿足各種質檢需求。以常見的幾個質檢維度來舉例說明:

完整性(Completeness)

字段是否爲空或NULL可使用空值檢查,可以判斷一個或多個字段是否非空。數據是否丟失可使用記錄缺失檢查,根據比照表字段檢查目標字段是否缺少數據。


唯一性(Uniqueness)

檢查數據是否唯一可使用重複數據檢查。檢查一張表內的重複數據,重複依據的定義不限於單一字段。若僅添加一個字段,將檢查該字段內是否有重複數據;若添加了多個字段,將聯合檢查多個字段內是否有重複數據。


及時性(Timeliness)

檢查數據填報是否在允許時間範圍內可使用及時性檢查。用來檢查數據抽取、上報是否及時。


有效性(Validity)

檢查數據是否符合其定義的語法(格式、類型、範圍),場景包括不限於字段長度有效、字段內容有效、字段數據範圍有效、枚舉值個數有效、枚舉值集合有效。這些場景下可使用值域檢查、規範檢查、波動檢查、平衡性檢查、離羣值檢查。 


準確性(Accuracy)

數值同比波動監測、數值環比波動監測、表邏輯檢查。可使用邏輯檢查、值域檢查、波動檢查、平衡性檢查。


一致性(Consistency)

檢查數據項的多個數據是否一致,可使用引用完整性檢查、數據集檢查。


自定義(Customize)

支持用戶自定義寫質檢規則,可使用SQL腳本檢查、JAVA腳本、R腳本檢查、Python腳本檢查。


億信數據質量管理平臺(EsDataClean)從完整性、唯一性、及時性、有效性、準確性、一致性、自定義等幾個維度對數據質量進行測量。通過圖形化的界面,事先定義好的規則、調度時間、工作流程,自動完成數據的質量檢查,極大的減少人力的投入和過程干預,提升效率,減少誤差。對於數據質量的檢測結果進行分析和量化,查找出現質量問題的數據鏈環節,定位數據問題,實行問責機制。

近年來越來越多的企業認識到了數據的重要性,數據倉庫、大數據平臺、數據中臺的建設如雨後春筍。人們也越來越重視數據的管理和治理,而數據質量管理是數據治理的核心,因此,擁有一個優秀數據質量平臺,能夠改善整個企業的數據的一下問題,讓它在協助我們企業在提升生產力方面、效能方面、合規管理方面等等之中發揮的重要作用。

億信華辰旗下不光有數據治理管理平臺,還有一整套的數據治理系統——睿治,可以有效幫助企業實現數據的有效治理,提高效率支撐決策。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章