數據治理系列4:主數據管理實施四部曲概論

作者:石秀峯,多年來一直從事企業數據資源規劃、企業數據資產管理、數據治理,歡迎關注。

導讀:我們知道主數據項目的建設是一個循序漸進、持續優化的過程,不可一蹴而就。個人認爲主數據管理項目從諮詢規劃到落地實施再到初步見效需要經歷四個階段,而每個階段都是必經階段,每個階段均可獨立成章,所以這裏是四部曲,不是四步曲。

主數據項目建設從方法上,分爲以下四部,簡單歸結爲12個字:“摸家底、建體系、接數據、抓運營”!

一、摸家底

摸家底需要全面調研和了解企業的數據管理現狀,以便做出客觀切實的數據管理評估!

1、數據資源普查

數據資源普查的方法常用的有兩種,一種是自頂向下的梳理和調研,另一種是自底向上的梳理和調研。

自頂向下的調研一般會用到IRP(信息資源規劃)和BPM(業務流程管理)兩個方法。這裏重點介紹一下IRP,信息資源規劃(Information Resource Planning ,簡稱IRP),是指對所在單位信息的採集、處理、傳輸和使用的全面規劃。其核心是運用先進的信息工程和數據管理理論及方法,通過總體數據規劃,奠定資源管理的基礎,促進實現集成化的應用開發,構建信息資源網。

IRP是信息工程方法論、總體數據規劃和信息資源管理標準的結合體,其實現方法可概括爲:IRP = 兩個階段 + 兩條主線 + 三個模型 + 一套標準,如下圖所示:

採用IRP方法進行數據梳理需要對職能域、業務域進行定義,並對每個職能域和業務域中的業務流程進行梳理,同時需要收集各類業務單據、用戶視圖,並對每個單據和用戶視圖進行梳理和數據元素分析。

該方法優點讓企業能夠對現有數據資源有個全面、系統的認識。特別是通過對職能域之間交叉信息的梳理,使我們更加清晰地瞭解到企業信息的來龍去脈,有助於我們把握各類信息的源頭,有效地消除“信息孤島”和數據冗餘、控制數據的唯一性和準確性,確保獲取信息的有效性。缺點是需要消耗較大的成本和週期。這種方法適用於包含諮詢的主數據項目建設。

由底向上的主數據梳理和調研,一般先確定主數據主題域或數據範圍。在範圍確定的前提下,從企業信息系統入手,對已建系統、在建系統、待建系統的數據視圖進行梳理、分析,識別出主數據在信息系統的分佈情況,理清數據來源去向,標準情況、質量情況。另外,還需要對系統未管理的數據(即,我們常說的線下數據)進行整理分析。

在這個過程中,需要在既定的數據範圍內,摸透企業主數據的管理情況、數據標準情況、數據質量情況、數據共享情況……。該方法的優點在於針對性強,快速實施、快速見效,缺點是梳理的數據不夠全面和系統。一般是有了明確的項目目標和範圍的情況下采用該方法最佳。

企業的數據名目繁多,千變萬化,我們不可能一次性完成對所有數據資源的梳理和分析。所以,不論使用哪種方法進行需求梳理,企業都要選擇好業務重點,優先實施,不能鬍子眉毛一把抓。

明確範圍、明確範圍、明確範圍,重要的事情說三遍。

2、主數據識別

主數據的識別一般分爲四個步驟:

第一步,確定主數據識別指標。

第二步,基於主數據識別識別,構建評分體系,確定指標權重。

第三步,根據業務調研和數據普查結果,確定主數據參評範圍。

第四步,依據評分標準,識別出企業主數據。

2.1. 主數據識別指標,主要從主數據的特徵考量:

參見之前談數據公衆號分享的:《主數據的3大特徵、4項超越和主數據管理的3個二八原則》

業務價值。主數據具備充足的業務價值。主數據描述企業最核心的數據,是企業最有價值的數據資產。

數據共享性。主數據一般是不同業務部門之間、不同業務系統之間高度共享的數據,如果數據只在一個系統使用,並且未來也不會共享給其他系統,一般不作爲主數據管理。

實體獨立性。主數據是不可拆分的數據實體,如產品、客戶,是所有業務行爲和交易的基礎。

識別唯一性。在組織範圍內同一主數據要求具有唯一的識別標誌,如物料、客戶都必須有唯一的編碼。

相對穩定性。與交易數據相比主數據是相對穩定的,變化頻率較低。變化頻率較低並不意味着一成不變,例如:客商更名會引起客商主數據的變動、人員調動會引起人員主數據的變動等等。

長期有效性。主數據一般具有較長的生命週期,需要長期保存。

2.2. 建立評分體系,確定指標權重。

2.3. 數據資源普查和參評數據準備。主要是根據前期的業務調研情況和數據普查情況,確定參評數據範圍,並準備出參評數據。

2.4. 以及打分模板進行打分,識別出企業主數據。該過程需要充分的VER和VAL。

3、數據管理能力評估

對於數據管理能力的評估,目前已經有了比較成熟的評價模型,典型的有:

IBM數據治理成熟度評估模型。推薦閱讀:IBM的《數據治理統一流程》一書。

SEI的數據能力成熟度模型(DMM)。

EDM的數據能力成熟度模型(DCAM)。

DataFlux 數據治理成熟度模型。

Oracle MDM 主數據管理成熟度模型。

MD3M 主數據管理能力成熟度模型。

國內,全國信息技術標準化技術委員於2014年會啓動了《數據能力成熟度評價模型》的制定工作。數據能力成熟度評價模型(Data Capability Maturity Model 簡稱DCMM)是國內關於數據能力成熟度模型的一項國家標準,在制定的過程中充分吸取了國內先進行業的發展經驗(以金融業爲主),結合了國際上DAMA(國際數據管理協會)《數據管理知識體系指南DMBOK》中的內容。

注:以上評估模型這裏不再展開,後續筆者會根據自己的工作和學習心得進行逐一詳解,敬請關注。

筆者認爲,不論國際還是國內,其數據管理能力成熟度評估模型都大同小異,核心上都借鑑了CMMI,不限於以下幾個方面:

企業數據戰略

組織機構

標準體系

制度與流程

數據質量

數據應用體系

數據生命週期管理

評估模型都是作爲企業數據管理能力評估的參考,需要結合企業實際需求和發展目標,切實的、客觀的進行評價。

二、建體系

我國大多數企業的主數據現狀普遍都是先污染、後治理的過程,主數據管理必然帶來新的標準、體系的確立,和舊系統的改造。整個主數據建設過程是一個有破有立、無破不立的過程。這一過程設計大量的跨部門、跨條線、跨系統的溝通協調,同時也涉及不小的投資。爲了不使投入的人力物力付之東流,在項目實施前期就應該規劃好各項規章制度和組織架構。

1、組織體系

有效的組織機構是項目成功的有力保證,爲了達到項目預期目標,在項目開始之前對於組織及其責任分工做出規劃是非常必要的。

主數據涉及的範圍很廣,牽涉到不同的業務部門和技術部門,是企業的全局大事,如何成立和成立什麼樣的組織應該依據企業本身的發展戰略和目標來確定。

建立主數據管理組織目標是:統籌規劃企業的數據戰略;建立主數據標準規範體系、數據管理制主度和流程體系、數據運營和維護體系;依託主數據管理平臺,實施主數據標準化落地、推廣和運營。

在明確了組織機構的同時,還要明確主數據管理崗位,比如:主數據系統管理員、主數據填報員、主數據審覈員、數據質量管理員、集成技術支持員等。主數據管理崗位可以兼職,也可以全職,根據企業實際情況而定。

2、標準體系

主數據分類和編碼標準化。沒有標準化就沒有信息化,主數據分類和編碼標準是主數據標準中的最基礎的標準。

數據分類就是根據信息內容的屬性或特徵,將信息按一定的原則和方法進行區分和歸類,並建立起一定的分類系統和排列順序,以便管理和使用信息。

主數據編碼就是在信息分類的基礎上,將信息對象賦於有一定規律性的、易於計算機和人識別與處理的符號。

主數據模型標準化,根據前期的調研、梳理和評估,定義出每個主數據的元模型。明確主數據的屬性組成、字段類型、長度、是否唯一,是否必填以及校驗規則……。主數據元模型的設計不能貪大求全,要切合實際。推薦方法:抽取多系統、部門間的共性屬性和核心屬性,剔除掉單一業務屬性。

主數據標準體系的建設要適合企業的業務,適應企業的發展。標準的建設不能“先入爲主”更不能“直接照搬”。

3、制度與流程體系

制度章程是確保對主數據管理進行有效實施的認責制度。建立主數據管理制度和流程體系是需要明確主數據的歸口部門和崗位,明確崗位職責,明確每個主數據的申請、審批、變更、共享的流程。

數據從創建到流轉要嚴格執行企業主數據標準和填報規範。

同時,做好數據運營工作,定期檢查數據質量,進行數據的清洗和整合。實現企業數據質量的不斷優化和提升。

制度和流程體系的建設是主數據成功實施的重要保障。

4、技術體系

主數據管理技術體系的建設應從應用層面和技術層面兩個方面考慮。

應用層面主數據管理平臺需具備元數據(數據模型管理)、數據管理、數據清洗、數據質量、數據集成、權限控制、數據關聯分析,以及數據的映射(mapping)/轉換(Transforming)/裝載(loading)的能力。技術層面,重點考慮系統架構、接口規範、技術標準。

業內流行主數據平臺更多定位的是數據管理和集成平臺,一般採用SOA架構,提供服務總線(data service bus)功能。國內外90%以上的產品採用的是這種技術架構。

互聯網行業的主數據則側重於主數據的微服務,每個主數據都可以發佈多個微服務,例如:會員主數據,提供的微服務包括註冊、登錄、註銷、鎖定等服務。

 

5、安全體系

主數據安全體系建設包括幾個方面:

網絡安全。尤其是混合雲下的數據安全是當前客戶最關注的問題。這裏建議基於混合雲部署的主數據系統採用單向數據流控制,即只允許公有云數據向內流入,不允許私有云數據向外流出。

接口安全。即接口數據的傳輸安全。由於主數據解決的是異構系統的數據一致性問題,需要保證主數據在給異構系統同步數據的過程的數據安全。主數據平臺須具備接口的訪問控制和加密傳輸的能力。

應用安全。主數據平臺的身份認證、訪問控制、分級授權、安全審計功能是保障系統應用安全的重要功能。

數據安全。主數據平臺提供的數據加密存儲、加密傳輸、脫敏脫密功能,是保證主數據安全的重要措施。

三、接數據

接數據包括主數據的接入和接出。

主數據接入是將主數據從數據源系統彙集到主數據平臺的過程。該過程需要對接入的數據進行清洗、轉換、映射、去重、合併、加載……,通過一系列的數據加工和處理形成標準統一的主數據。

常用的數據的彙集方式:

ETL抽取,採用ETL工具的方式從數據源系統將數據採集到主數據庫中。

文件傳輸,採用文件傳輸方式將文件中的數據導入到主數據庫中。

消息推送,採用消息的方式從數據源系統將數據採集到主數據庫中,一般需要藉助ESB。

接口推送,採用接口方式從數據源系統將主數據採集到主數據庫中,一般需要藉助ESB。

內容爬蟲,一般用於互聯網的數據爬取,適用於社會化主數據的彙集。

主數據的接出,是將標準化的主數據分發共享給下游業務系統使用的過程。在主數據接出的過程中使用的技術與數據彙集技術基本一致。在企業實施主數據過程中,需要根據不同場景選擇不同的集成方式。

定期數據共享,一般採用ETL或接口方式定期將主數據抽取到業務系統指定的數據表中。

實時數據共享,一般採用消息訂閱的方式,通過數據接口將主數據推送給業務系統。

四、抓運營

主數據運營管理,包括:主數據管理,主數據推廣、主數據質量、主數據變現等。

1、主數據管理

數據標準和管理規範的常態化貫徹。主數據管理主要是對主數據的新增、變更、使用等過程的規範,需要配合企業主數據管理的相關制度和流程,做到定崗定責、責任到人,從源頭上控制好數據的質量,保證數據的唯一數據源和統一數據視圖。

2、主數據推廣

主數據推廣是逐步將主數據推廣到企業的各個業務中,包括線上、線下的業務。主數據的應用不僅需要推廣各個相關的業務中,保證各業務系統的主數據一致性。對於線下的業務也應當與主數據保持一致。主數據推廣對於單組織企業比較容易,對於集團型企業尤其是多業態集團是有一定難度的,企業應做好相應的推廣策略和計劃表。

3、主數據質量

主數據作爲“黃金數據”是企業的核心數據資產,主數據質量的好壞決定了數據價值的高低。整個主數據運營過程,最核心的目標就是持續提升數據質量。主數據質量管理包括:主數據質量指標定義,主數據質量模型/算法,主數據質量覈查,主數據質量整改,主數據質量報告,主數據質量考評等。(此文不在詳訴)

4、主數據變現

上文我們提到:主數據是企業的“黃金數據”,是企業的核心數據資產。既然是“資產”就一定有其變現的能力,主數據變現主要有以下幾個方面:

① 整合協同、降本增效。

各系統主數據的標準統一,解決數據重複、不一致、不正確、不準確、不完整的問題,打通企業的採購、生產、製造、營銷、財務管理等各個環節,大大提升業務之間協作的效率,減低由於數據不一致引起的溝通成本。

② 增加收入、提升盈利。

建立360°客戶主數據視圖,建立客戶關係模型,支撐企業精準營銷,提升盈利水平、增加銷售收入。

③ 數據驅動、智能決策。

相比基於本能,假設,或認知偏見而做出的決策,基於證據的決策更可靠。通過數據驅動的方法,你將能夠判斷趨勢,從而展開有效行動,幫助自己發現問題,推動創新或解決方案出現。

④ 數據 即服務 即資產。

一方面,可以通過主數據優化內部運營管理和客戶服務水平;另一方面,通過對主數據進行匿名化和整合,結合各種不同的用戶場景提供給客戶或供應商,從而實現整個產業鏈的打通。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章