「數據治理那點事」系列之四 | 書同文車同軌:數據治理之數據標準管理

這篇文章主要從數據治理中的重要基礎內容:數據標準入手,從以下幾個角度展開具體講解:

  • 對數據標準的認識誤區
  • 數據標準的定義
  • 企業如何制定數據標準
  • 數據標準化過程中出現難題的原因以及解決方案

一、大數據治理標準體系

根據全國信息技術標準化技術委員會大數據標準工作組制定的大數據標準體系,大數據的標準體系框架共由七個類別的標準組成,分別爲:基礎標準、數據標準、技術標準、平臺和工具標準、管理標準、安全和隱私標準、行業應用標準。本文主要闡述其中的第二個類別:數據標準

二、關於數據標準認識的幾個誤區

數據標準這個詞,最早是在金融行業,特別是銀行業的數據治理中開始使用的。數據標準工作一直是數據治理中的重要基礎性內容。但是對於數據標準,不同的人卻有不同的看法:

有人認爲數據標準極其重要,只要制定好了數據標準,所有數據相關的工作依標進行,數據治理大部分目標就水到渠成了。

也有人認爲數據標準幾乎沒什麼用,做了大量的梳理,建設了一整套全面的標準,最後還不是被束之高閣,被人遺忘,幾乎沒有發揮任何作用。

首先亮明作者的觀點:這兩種看法都是不對的,至少是片面的。實際上,數據標準工作是一項複雜的,涉及面廣的,系統性的,長期性的工作。它既不能快速地發揮作用,解決掉數據治理中的大部分問題,但肯定不是完全沒有作用,如果數據標準工作的結局只是最後剩下一堆文檔,那隻能說明這項工作沒有做好,沒有落到實處。本文主要的目的,就是分析爲什麼會出現這種情況,以及如何應對。而首先需要做的是釐清數據標準的定義。

三、數據標準的定義

何爲數據標準,各相關組織並沒有統一的,各方都認可的定義。結合各家對數據標準的闡述,從數據治理的角度出發,我嘗試着給數據標準做一個定義:數據標準是對數據的表達、格式及定義的一致約定,包含數據業務屬性、技術屬性和管理屬性的統一定義;數據標準的目的,是爲了使組織內外部使用和交換的數據是一致的,準確的。

四、如何制定數據標準

一般來說,對於政府,會有國家或地方政府發文的數據標準管理辦法,其中會詳細規定相關的數據標準。所以在此主要講企業如何制定數據標準。

企業的數據標準來源非常豐富,有外部的監管要求,行業的通用標準,同時也必須考慮到企業內部數據的實際情況,梳理其中的業務指標、數據項、代碼等,將以上所有的來源都納入數據標準是沒有必要的,數據標準的範圍應該主要集中在企業業務最核心的數據部分,有的企業也稱作關鍵業務數據或核心數據,只要制定出這些核心數據的標準,就能夠支撐企業數據質量、主數據管理、數據分析等需要。

五、數據標準化的難題

數據標準好制定,但是數據標準落地相對就困難多了。國內的數據標準化工作發展了那麼多年,各個行業,各個組織都在建設自己的數據標準,但是你很少聽到哪個組織大張旗鼓地宣傳自己的數據標準工作多麼出色,換句話說,做數據標準取得顯著效果的案例並不多。爲什麼會出現這種情況,主要有兩個原因:

一是制定的數據標準本身有問題。有些標準一味地追求先進,向行業領先看齊,標準大而全,脫離實際的數據情況,導致很難落地。

第二個原因,是標準化推進過程中出了問題。這是我們重點闡述的原因,主要有以下幾種情況:

1、對建設數據標準的目的不明確。某些組織建設數據標準,其目的不是爲了指導信息系統建設,提高數據質量,更容易地處理和交換數據,而是應付監管機構檢查,因此需要的就是一堆標準文件和制度文件,根本就沒有執行的計劃。

2、過分依賴諮詢公司。一些組織沒有建設數據標準的能力,因此請諮詢公司來幫忙規劃和執行。一旦諮詢公司撤離,組織依然缺乏將這些標準落地的能力和條件。

3、對數據標準化的難度估計不足。很多公司上來就說要做數據標準,卻不知道數據標準的範圍很大,很難以一個項目的方式都做完,而是一個持續化推進的長期過程,結果是客戶越做遇到的阻力越大,困難越多,最後自己都沒有信心了,轉而把前期梳理的一堆成果束之高閣,這是最普遍的問題。

4、缺乏落地的制度和流程規劃。數據標準的落地,需要多個系統、部門的配合才能完成。如果只梳理出數據標準,但是沒有規劃如何落地的具體方案,缺乏技術、業務部門、系統開發商的支持,尤其是缺乏領導層的支持,是無論如何也不可能落地的。

5、組織管理水平的不足:數據標準落地的長期性、複雜性、系統性的特點,決定了推動落地的組織機構的管理能力必須保持在很高的水平線上,且架構必須持續穩定,纔能有序地不斷推進。

以上這些原因,導致數據標準化工作很難開展,更難取得較好的成效。數據標準化難落地,是數據治理行業的現狀,不容迴避。

六、如何應對這些難題

應對以上這些難題,最經濟、最理想的模式當然是:做大數據建設,首先做標準,再做大數據平臺,數據倉庫等但一般的不大可能有這樣的認識,很多時候大家都是先建設再治理。先把信息系統、數據中心建好,然後標準有問題,質量不高,再建數據標準,但實際上這時候已經是回過頭來做一些亡羊補牢的事情,客戶的投資肯定有一部分是浪費。

正因爲其太過理想化,所以這種模式幾乎是見不到的。在實踐中,我們往往還是需要更多地考慮如何把數據標準落地到已有的系統和大數據平臺中。

數據標準落地有三種形式:

1、源系統改造:對源系統的改造是數據標準落地最直接的方式,有助於控制未來數據的質量,但工作量與難度都較高,現實中往往不會選擇這種方式,例如有客戶編號這個字段,涉及多個系統,範圍廣、重要程度高、影響大,一旦修改該字段,會涉及到相關的系統都需要修改。但是也不是完全不可行,可以借系統改造,重新上線的機會,對相關源系統的數據進行部分的對標落地。

2、數據中心落地:根據數據標準要求建設數據中心(或數據倉庫),源系統數據與數據中心做好映射,保證傳輸到數據中心的數據爲標準化後的數據。這種方式的可行性較高,是絕大多數組織的選擇。

3、數據接口標準化:對已有的系統間的數據傳輸接口進行改造,讓數據在系統間進行傳輸的時候,全部遵循數據標準。這也是一種可行的方法。

在數據標準落地的過程中,需要做好這幾件事:

  • 事先確定好落地的範圍:哪些數據標準需要落地,涉及到哪些IT系統,都是需要事先考慮好的。
  • 事先做好差異分析:現有的數據和數據標準之間,究竟存在哪些差異,這些差異有多大,做好差異性分析。
  • 事先做好影響性分析:如果這些數據標準落地了,會對哪些相關的遊戲廳產生什麼樣的影響,這些影響是否可控。元數據管理中的影響性分析可以幫助用戶確定影響的範圍。
  • 制定落地的執行方案:執行方案要側重於可落地性。不能落地的方案,最終只能被廢棄。一個可落地的方案,要有組織架構和人員分工,每個人負責什麼,如何考覈,怎麼監管,都是必須納入執行方案中的內容。
  • 具體的執行落地方案:根據執行方案,進行數據標準落地執行。
  • 事後評估:事後需要跟蹤、評估數據落地的效果如何,做對了哪些事,哪些做得不足,如何改進。

總結

數據標準的建設大致可以分成兩個階段

第一個階段是梳理和制定數據標準

第二個階段是數據標準的落地和實施

而後者是公認的難題

作者:蔣珍波(樂天),6 年+ 大數據諮詢經驗,擅長爲客戶提供科學合理的大數據解決方案。目前擔任數瀾科技諮詢專家。

相關文章:

「數據治理那點事」系列之一:那些年我們一起踩過的坑

「數據治理那點事」系列之二:手握數據「戶口本」,數據治理肯定穩!

「數據治理那點事」系列之三:不忘初心方得始終,數據質量治理?

【更多數據治理方面的文章在數瀾社區——國內首個面向數據人的數據中臺交流社區。專注於數據中臺研究、數棲平臺使用指導、數據可視化探討。】

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章