數據治理系列1:數據治理框架【解讀分析】

作者:石秀峯,多年來一直從事企業數據資源規劃、企業數據資產管理、數據治理,歡迎關注。

 

一、什麼是數據治理?

 

維基百科:數據治理對於確保數據的準確、適度分享和保護是至關重要的。有效的數據治理計劃會通過改進決策、縮減成本、降低風險和提高安全合規等方式,將價值回饋於業務,並最終體現爲增加收入和利潤。

 

筆者認爲:所有爲提高數據質量而展開的業務、技術和管理活動都屬於數據治理範疇。數據治理的目的就是通過有效的數據資源控制手段,進行數據的控制,以提升數據質量進而提升數據變現的能力。

 

二、爲什麼需要數據治理?

 

在我國,各行業的信息化發展和建設水平並不均衡,甚至有的行業是剛剛起步。但是,不論是金融行業、通訊行業、地產行業、傳統製造業以及農業,其信息化的發展基本都遵循了“諾蘭模型”。筆者認爲企業信息化大致經歷了初期的煙囪式系統建設、中期的集成式系統建設和後期的數據管理式系統建設三個大的階段,可以說是一個先建設後治理的過程。

 

 

1、數據質量層次不齊

當今時代,“數據資產化”的概念已經被大多數人理解和接受。不論是企業、政府還是其他組織機構,對於的數據資產的管理越來越重視。然而,數據並不等於資產,也就是說不是所有數據都是數據資產,數據中也有垃圾數據。我們需要治理的是能夠爲企業創造價值的數據資產,而不是全部數據。

 

2、數據交換和共享困難

企業信息化建設初期缺乏整體的信息化規劃,系統建設大多都是以業務部門驅動的單體架構系統或套裝軟件,數據分散在這些架構不統一、開發語言不一致、數據庫多樣化的系統中,甚至還有大量的數據存放在員工的個人電腦中,導致在企業內部形成了一個個的“信息孤島”。這些“孤島”之間缺乏有效的連接通道,數據不能互聯互通,不能按照用戶的指令進行有意義的交流,數據的價值不能充分發揮。只有聯通數據,消除這些“信息孤島”,才能實現數據驅動業務、數據驅動管理,才能真正釋放數據價值。

 

3、缺乏有效的管理機制

目前,許多企業都認識到了數據的重要性,並嘗試通過生產系統的業務流來控制數據流,但由於缺乏有效的管理機制和某些人爲的因素,在數據流轉過程中,存在數據維護錯誤、數據重複、數據不一致、數據不完整的情況,導致了產生了大量的垃圾數據。數據產權不明確,管理職責混亂,管理和使用流程不清晰,是造成數據質量問題的重要因素。

 

4、存在數據安全隱患

2018年3月份的Facebook 5000萬用戶信息被泄露和濫用的事件,受該事件影響,Facebook股價當日大跌7%,市值縮水360多億美元,而盜用數據的劍橋分析這家公司也於同年5月停止運營,並申請破產。這種數據安全事件,在我國發生頻率更多,我還清楚的記得:2011年,黑客在網上公開了CSDN的用戶數據庫,高達600多萬個明文的註冊郵箱賬號和密碼遭到曝光和外泄;2016年,順豐員工應盜取大量客戶信息被送上法庭;2017年,京東員工盜取用戶個人信息50億條,並通過各種方式在網絡黑市販賣。近年來,隨着大數據的發展,諸如此類的數據安全事件多不勝數。數據資產管理上,正在由傳統分散式的人工管理向計算機集中化管理方向發展,數據的安全問題愈來愈受到人們的關注。

 

三、DMBOK的數據治理框架

 

DMBOK是由數據管理協會(DAMA)編撰的關於數據管理的專業書籍,一本DAMA 數據管理辭典。對於企業數據治理體系的建設有一定的指導性。注:DAMA 是數據管理協會的簡稱,是一個全球性數據管理和業務專業志願人士組成的非營利協會,致力於數據管理的研究和實踐。

 

DMBOK將數據管理分爲以下10個職能域:

 

  • 數據控制:在數據管理和使用層面之上進行規劃、監督和控制。

  • 數據架構管理:定義數據資產管理藍圖。

  • 數據開發:數據的分析、設計、實施、測試、部署、維護等工作。

  • 數據操作管理:提供從數據獲取到清除的技術支持。

  • 數據安全管理:確保隱私、保密性和適當的訪問權限等。

  • 數據質量管理:定義、監測和提高數據質量。

  • 參考數據和主數據管理:管理數據的黃金版本和副本。

  • 數據倉庫和商務智能管理:實現報告和分析。

  • 文件和內容管理:管理數據庫以外的數據

  • 元數據管理:元數據的整合、控制以及提供元數據。

 

四、數據治理框架的理解和解讀

 

DMBOK對企業級數據治理給出了框架性建議,但是任何指導性的框架文件都不是萬能的。不同的行業、不同性質的企業、不同的信息化程度、不同的企業文化,其數據治理方案必須因地制宜,量身定製。我們常說:沒有最好的解決方案只有更合適的解決方案。企業在實施數據治理的時候,應做好充分的分析和評估,切勿盲目跟風,避免出現數據治理收效甚微,還浪費了投資的窘境。

 

筆者認爲企業數據治理應考慮以下要素:

 

1、數據治理的對象

大家都在談數據治理,但是到底哪些數據需要被治理?我們說數據治理不是治理全部數據,而是針對企業數據資產的治理。那麼,問題來了,到底什麼是數據資產?又如何識別數據資產?

 

維基百科定義:數據資產屬於普通個人和企業的數字財產,數據資產是無形資產的延伸,不具有實物形態。其本質是數據作爲一種經濟資源參與企業的經濟活動,減少和消除了企業經濟活動中的風險,爲企業的管理控制和科學決策提供合理依據,並預期給企業帶來經濟利益。

 

筆者認爲,數據資產雖不具備實物形態,但是它必定是實物在網絡世界映射的一種虛擬形態。對於企業而言,人、設備、產品、物料、軟件系統、數據庫、以及任何涉及到使用文件作爲載體的各類數據,都屬於企業的數據資產。

 

我們雖然定義了數據資產,但是不同行業的數據治理側重點也不同。數據治理要理解行業需求、企業訴求,在不同行業、不同企業應具有不同的差異化方案。企業在實施數據治理的時候,首先要進行數據資產的識別和定義,明確數據治理的對象和範圍,做好數據治理的頂層設計!

 

2、數據治理的時機

這些年由於工作原因走訪了一些企業,其經濟情況不同、行業特點不同、信息化程度不同、數據治理情況也不盡相同。

 

第一類企業:經濟實力雄厚,信息化起步較早,信息化程度比較高,如:XX銀行、國家電網,他們已形成了系統性的數據治理體系。

 

第二類企業:有一定的經濟實力、信息化程度相對較好,但是早期的信息化盲目建議,買了一堆的套裝軟件,建了一堆的系統,雖然系統或多或少都有使用,但效果不佳,談起數據治理,客戶自己都覺得頭痛:企業到底都有哪些數據?這些數據都是分佈在哪裏?數據治理該如何入手?

 

第三類企業:經濟實力相對薄弱,也有信息化剛剛起步的企業,這些企業多數的業務還是靠紙質或線下模式,部分企業使用了財務軟件或ERP系統,數據存放個人電腦或生產系統中,基本沒有數據治理。我國的一些中小民型營製造企業多數處於這個水平。

 

企業數據治理的時機該如何選擇?是先有了數據再進行治理,還是先建設好數據治理體系再進行應用系統建設?針對上述不同類型的企業,其數據治理選擇的時機和體系建設的設計絕對不能一概而論。

 

對於第一類企業,已經有了相對完善的數據治理體系,更需要的是加強數據安全、數據應用、數據創新,穩固提升數據管理、數據應用和數據變現的能力;

 

對於第二類企業單體架構的系統多,信息孤島嚴重,一定存在數據多源、重複、不一致等問題,其數據治理已是迫在眉睫;

 

對於第三類企業,在數字化的浪潮下,信息化雖然薄弱,但如果打好數據基礎,未免不是企業改革創新,實現“彎道超車”的最佳時機。

 

3、誰來實施、誰來主導

企業常常有這樣一個誤區,很多人認爲數據治理就是信息化部門的事情和業務部門無關。前邊我們說過數據治理是對企業數據資產的治理,既然是資產,就一定要確權。企業數據資產的生產、使用應該有明確的責任部門,顯然數據資產的生產及歸屬部門應該是業務部門,信息化部門最多也就是一個數據資產的託管部門而已。筆者也多次強調企業的數據問題,80%是業務和管理的問題,20%是技術問題。

 

所以,企業數據治理是應有高層領導牽頭,業務部門負責,信息部門執行,企業全員的參與。企業全員應培養起數據思維和數據意識,當然這是一個長期的過程,也是一件很不容易的事情,需要一點一滴的積累沉澱,並不斷融入企業文化中。

 

4、數據治理的內容

數據治理是長期、複雜的工程,涉及到組織體系、標準體系、流程體系、技術體系和評價體系五方面的工作領域,包含了數據標準、數據質量、主數據、元數據、數據安全等多個方面內容。由於企業性質、業務特點、管理模式的不同,有必要建立符合企業現狀和企業需求的數據治理框架,指導企業數據治理工作的開展。

 

以下是筆者個人理解的數據治理框架內容,不足之處希望業內專家指正,期待與您的交流:

 

 

組織體系:數據治理項目的實施絕非是一個部門的事情,不能在企業的單一部門得到解決。需要從整個組織考慮,建立專業的數據治理組織體系,進行數據資產的確權,明確相應的治理制度和標準,培養整個組織的數據治理意識。這需要 IT 與業務部門進行協作,而且必須始終如一地進行協作,以改善數據的可靠性和質量,從而爲關鍵業務和管理決策提供支持,並確保遵守法規。

 

標準體系:數據治理的標準體系是多個層面的,包括:國際標準、國家標準、行業標準、企業標準等。企業數據標準體系內容應涵蓋:元數據標準、主數據標準、參照數據標準、數據指標標準等。數據治理的成效,很大程度上取決與數據標準的合理性和統一實施的程度。企業數據標準體系的建設應既滿足當前的實際需求,又能着眼未來與國家及國際的標準接軌。

 

流程體系:數據治理流程體系,爲數據治理的開展提供有據可依的管理辦法、規定數據治理的業務流程、數據治理的認責體系、人員角色和崗位職責、數據治理的支持環境和頒佈數據治理的規章制度、流程等。建立數據的生產、流轉、使用、歸檔、消除的整個生命週期管理的過程。企業應圍繞數據治理的對象:數據質量、數據標準、主數據、元數據、數據安全等內容建立相應的制度和流程。

 

評價體系:建立數據評價與考覈體系是企業實施和貫徹數據治理相關標準、制度和流程的根本。建立明確的考覈制度,實際操作中可根據不同企業的具體情況和企業未來發展要求建立數據的認責體系,設置考覈指標和考覈辦法,並與個人績效掛鉤。考覈指標包括兩個方面內容,一方面是對數據的生產、管理和應用等過程的評估和考覈指標,另一方面是數據質量的評測指標。

 

技術體系:數據治理包括數據治理的工具和技術,總體應包括元數據管理、主數據管理、數據標準管理、數據質量管理和數據安全管理。

 

 

元數據管理:元數據管理是對企業涉及的業務元數據、技術元數據、管理元數據進行盤點、集成和管理,按照科學、有效的機制對元數據進行管理,並面向開發人員、最終用戶提供元數據服務,以滿足用戶的業務需求,對企業業務系統和數據分析平臺的開發、維護過程提供支持。藉助變更報告、影響分析等應用,控制數據質量、減少業務術語歧義和建立業務和技術之間的良好溝通渠道,進一步提高各種數據的可信性、可維護性、適應性和可集成性。

 

數據標準管理:數據標準適用於業務數據描述、信息管理及應用系統開發,可以作爲經營管理中所涉及數據的規範化定義和統一解釋,也可作爲信息管理的基礎,同時也是作爲應用系統開發時進行數據定義的依據。涉及國家標準、行業標準、企業標準和地方標準,在定義元數據實體或元素時進行關聯。數據標準需要不斷的補充完善、更新優化和積累,以便更好的支撐業務的開發和系統的集成。

 

主數據管理:主數據管理是通過運用相關的流程、技術和解決方案,對企業核心數據的有效管理過程。主數據管理涉及主數據的所有參與方,如用戶、應用程序、業務流程等,創建並維護企業核心數據一致性、完整性、關聯性和正確性。主數據是企業內外被廣泛應用和共享的數據,被譽爲是企業數據資產中的“黃金數據”,主數據管理是撬動企業數字化轉型的支點,是企業數據治理最核心的部分。

 

數據質量管理:建立數據質量管理體系,明確數據質量管理目標、控制對象和指標、定義數據質量檢驗規則、執行數據質量檢核,生產數據質量報告。通過數據質量問題處理流程及相關功能實現數據質量問題從發現到處理的閉環管理,從而促進數據質量的不斷提升。

 

數據安全管理:目前多數人都知道數據安全問題十分重要,但在現實中,數據安全卻常常被忽視,只有出現了數據安全問題甚至事故時,人們才認識到要爲數據安全做點什麼了。數據安全應貫穿數據治理全過程,應保證管理和技術兩條腿走路。從管理上,建立數據安全管理制度、設定數據安全標準、培養起全員的數據安全意識。從技術上,數據安全包括:數據的存儲安全、傳輸安全和接口安全等。當然,安全與效率始終是一個矛盾體,數據安全管控越嚴格,數據的應用就可能越受限。企業需要在安全、效率之間找到平衡點。

 

五、數據治理框架總結

 

再次強調,企業實施數據治理需因地制宜,不論建立什麼樣的數據治理體系、採用什麼樣的數據治理技術,其目的都是實現數據治理目標,即:通過有效的數據資源控制手段,對進行數據的管理和控制,以提升數據質量進而提升數據變現的能力。數據治理體系和框架,只是企業數據治理的一個參考,不能照搬和套用,更不能爲了治理而治理。

 

(文:石秀峯 2019年4月)

 

更多精彩請微信掃描上圖二維碼,關注談數據!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章