數據治理調研、企業數據治理方案、數據治理的範圍

 

一、背景

大數據時代數據產生的價值越來越大,基於數據的相關技術、應用形式也在快速發展,開發基於數據的新型應用已經成爲企業信息化建設的一個重點領域。當前各大廠商、用戶都在探索與數據相關的開發技術、應用場景和商業模式,最終目的就是挖掘數據價值,推動業務發展,實現盈利。目前數據應用項目非常多,但真正取得預期效果的項目少之又少,而且開發過程困難重重,其中的一個重要原因就是數據質量問題導致許多預期需求無法實現。如果沒有數據治理,再多的業務和技術投入都是徒勞的,因爲很經典的一句話:Garbage in Garbage out。數據治理是保證數據質量的必需手段,從全球範圍來看,加強數據治理提升數據質量已成爲企業提升管理能力的重要任務。

隨着一系列與數據相關的法律法規和標準陸續發佈,我國的數據基礎制度體系建設不斷完善。國家陸續出臺的《網絡安全法》、《數據安全法》及《個人信息保護法》等基法律對數據進行監管和保護。數據治理涵蓋了從前端業務系統、後端業務數據庫再到業務終端的數據分析,從源頭到終端再回到源頭,形成的一個閉環負反饋系統。從目的來講,數據治理就是要對數據的獲取、處理和使用進行監督管理。

總體來看,數據治理的側重點主要體現在數據治理的範圍、治理主體的職責、數據治的理目標、數據治理的過程及其規範。在當前已有的定義中,以DAMA(國際數據管理協會)、DGI(國際數據治理研究所)、IBM數據治理委員會三家機構提出的最具權威性,因而被廣泛應用。

二、企業的數據治理

數據治理是一個對企業數字化轉型至關重要的一個環節,關乎着企業核心數據是否能被規範化管理、數據的價值是否能被充分發揮等等。企業數據的一致性、準確性和可信度能給企業實現降本增效、業務精細化運營、重要決策制定、產品優化迭代等多方面的收益。當前,數據已成爲一種重要的資產,是組織進行管理、生產和行動的重要職稱。

數據治理是一個系統的、大型的、長期的工程,大型企業已經開始了實施,並取得了一定成果,但目前普通企業在數據治理方面還沒有開始真正意義上的實踐,究其原因,大部分企業還沒有把數據治理的重要性提升到戰略高度,數據治理是一項非常抽象且龐大的內容,單靠一個人或者單個團隊很難達成理想化的效果,所以在數據治理的過程中需要根據企業的體量、業務的複雜度等角度對數據治理的組織架構進行專業的劃分。數據治理對於組織來說,就是一次權力的再分配。這其實意味着:(1)數據治理從來都是一把手工程;(2)數據治理直接負責人,一定要合理的協調能力,協調各方,並最終建立數據治理規則。

什麼是數據治理:

 

數據治理的目的:

  • 確保數據的準確性和一致性,以保證業務決策的正確性。
  • 保護數據的安全性和隱私性,以避免數據泄露和濫用。
  • 優化數據的利用和共享,以提高業務效率和創新能力。

數據治理痛點:這些痛點可能來源於業務、技術、運維、產品等不同的和數據相關的成員,具體的痛點大致可以分爲以下幾類及對應的解決方法。

數據治理的實現路徑:在標準規範和安全、質量的兩個管理基本規則的限制之下,由基礎的硬件設施、搭建數據治理平臺,再到建立良好的數據治理規則和核心體系。

 數據治理持續迭代流程: 發現數據質量問題 > 定義數據質量規則 > 質量控制 > 質量評估 > 質量優化

 數據管控示意圖:數據管控會根據企業實際情況,進行數據質量管控、元數據管控等某些方面的管控,偏向技術和執行層面。既管理,又控制,就像理論和實踐的結合。

 

三、數據治理的範圍
數據治理項目的範圍通常都會包含:組織建設、數據安全、數據開發、數據質量、元數據管理、數據價值等幾個模塊。

元數據管理
元數據從數據的角度可以分爲三類:業務元數據、技術元數據和管理元數據。

業務元數據是從業務的視角去描述數據:表名稱、表的血緣關係、表的字段說明、指標的統計口徑等多種業務描述;
技術元數據從技術的角度去描述數據:表的sql、字段長度、字段類型、有效值、默認值等多種技術描述;
管理元數據是包含數據管理的信息在裏面,例如:表的業務屬主、表的技術負責人、表的讀權限等

元數據不僅僅表示數據的類型、名稱、值等信息,它可以理解爲是一組用來描述數據的信息組/數據組,該信息組/數據組中的一切數據、信息,都描述/反映了某個數據的某方面特徵,則該信息組/數據組可稱爲一個元數據。

 主數據

指滿足跨部門業務協同需要的、反映核心業務實體狀態屬性的組織機構的基礎信息。主數據相對於交易數據而言,屬性更加穩定,準確度要求更高,唯一識別.

 

數據質量

數據質量是指在業務環境下,數據符合數據消費者的使用目的,數據質量需要滿足業務場景具體的需求。數據質量包含兩個方面:數據自身的質量和數據的過程質量。

數據自身的質量很好理解,比如數據必須真實準確地反映實際發生的業務,任何業務操作的數據都沒有被遺漏,數據存在各種約束條件,這種約束條件不能自相矛盾等等。

數據標準

數據標準是指企業爲保障數據的內外部使用和交換的一致性和準確性而制定的規範性約束。而數據標準管理則是一套由管理制度、管控流程、技術工具共同組成的體系,是通過這套體系的推廣,應用統一的數據定義、數據分類、記錄格式和轉換、編碼等實現數據的標準化。

數據標準管理的目標是通過統一的數據標準制定和發佈,結合制度約束、系統控制等手段,實現數據的完整性、有效性、一致性、規範性、開放性和共享性管理,爲數據資產管理提供經管理依據。

數據交換

出於各種原因,組織會選擇數據交換與共享。例如,內部與內部的數據交換共享,企業與企業之間的數據交換共享,以及政府或企業對個人或服務提供商的數據交換與共享。數據交換共享就是讓不同地方使用不同計算機、不同軟件的用戶能夠讀取他人數據並進行各種操作運算和分析。用於實現不同機構不同系統之間進行數據或者文件的傳輸和共享,提高信息資源的利用率,保證了分佈在異構系統之間的信息的互聯互通,完成數據的收集、集中、處理、分發、加載、傳輸,構造統一的數據及文件的傳輸交換。

組織建設

需要打破企業內部壁壘,構建多部門共同參與的數據治理組織,提升數據治理重要性。成立數據治理專項團隊,包括數據治理委員會、數據治理團隊、各業務部門等層層遞進的組織架構。在績效、團隊、資源等方面支持數據治理的持續運營,達成企業數據中臺的數據戰略體系轉型。

數據資產

數據資產是指由企業擁有或者控制的,彙集企業所有能夠產生價值的數據資源,爲用戶提供資產視圖,快速瞭解企業資產,發現不良資產,爲管理員提供決策依據,提升數據資產的價值。能夠爲企業帶來未來經濟利益的,以物理或電子的方式記錄的數據資源,如文件資料、電子數據等。但在企業中,並非所有的數據都構成數據資產,數據資產是能夠爲企業產生價值的數據資源。

數據安全

提供數據加密、脫敏、模糊化處理、賬號監控等各種數據安全策略,確保數據在使用過程中有恰當的認證、授權、訪問和審計等措施

 

從互聯網收集整理

阿里雲9.9元雲服務器限時購買

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章