大數據時代下，隨着數據應用和分析挖掘的逐步深入，由於數據標準不統一造成的數據使用問題越來越多。特別是對於企業而言，如果沒有進行數據標準體系的建設，不同人員對於數據的理解很難達到完全一致，導致工作中經常出現數據統計口徑偏差，系統開發與實際需求的偏差等問題。另外企業的各個系統一般都是不同廠商建設的，所以不同系統之間的標準不一致，從而導致不同系統之間數據融合應用困難。
本文將針對這些問題，從數據標準基礎概念出發，結合企業數據建設現狀，跟大家分享一下數據標準所帶來的價值，以及如何去完成企業數據標準建設。具體包括以下幾部分內容：
第一部分：數據標準相關概念，包括數據標準定義、分類。
第二部分：國內企業數據建設的現狀是怎樣的，數據使用過程中一般會碰到哪些由於缺乏數據標準所造成的問題，數據標準建設能夠爲企業帶來哪些價值。
第三部分：如何建設數據標準，包括數據標準的建設流程以及範圍圈定、落標策略、工具選型等幾個關鍵點。
第四部分：實際案例，結合我方做過的某個銀行的數據標準案例，從實際出發闡述數據標準建設的內容和效果。
一、數據標準概念
1、數據標準定義
數據標準（Data Standard）是指保障數據定義和使用的一致性、準確性和完整性的規範性約束。
對於企業而言，通俗來講，數據標準就是對數據的命名、數據類型、長度、業務含義、計算口徑、歸屬部門等，定義一套統一的規範，保證各業務系統對數據的統一理解、對數據定義和使用的一致性
2、數據標準管理目標
數據標準管理的目標是通過統一的數據標準制定和發佈，結合完善的數據標準管理體系，實現數據的標準化管理，保障數據的完整性、一致性、規範性，爲後續的數據管理提供標準依據。
3、數據標準分類
一般可從三個維度去進行數據標準分類，包括從數據結構的維度，數據內容來源的維度和技術業務的維度。
1）從數據結構角度的標準分類：
結構化數據標準是針對結構化數據制定的標準，通常包括：信息項分類、類型、長度、定義、值域等。
非結構化數據標準是針對非結構化數據制定的標準通常有：文件名稱、格式、分辨率等。
2）從數據內容來源角度的標準分類：
基礎類數據標準是指業務系統直接產生的明細數據和相關代碼數據，保障業務活動相關數據的一致性和準確性。
派生類數據標準是指基礎類數據根據管理運營的需求加工計算而派生出來的數據，例如：統計指標、實體標籤等。
3）從技術業務角度的標準分類：
業務數據標準是指爲實現業務溝通而制定的標準，通常包括：業務定義和管理部門，業務主題等。
技術數據標準是指從信息技術的角度對數據標準的統一規範和定義，通常包括：數據類型、字段長度、精度、數據格式等。
二、企業數據建設現狀
企業大多數系統的建設都是直接依據業務需求建立，並沒有一個整體的規劃，另外不同系統的建設廠商可能也不一樣，所以不同系統之間數據的不一致性難以避免，究其根源，還是沒有一套統一的數據標準來進行約束。
企業在對數據的使用過程中，出現的很多數據問題，都是由於缺乏標準約束和整體規劃設計造成的，如下：
1.數據存儲結構不一致，調用多系統的數據時，由於某些數據在不同系統中數據存儲結構不同，導致數據無法直接關聯，影響不同系統之間的數據共享。
2.數據定義不一致，不同系統對數據的命名、業務含義、取值範圍等定義不同，比如同名不同義、同義不同名等
3.數據理解不一致，不同人員對數據的理解不一致，導致在數據使用時浪費很多溝通時間。
4.數據來源不一致，數據存在多個來源，在數據使用時，不清楚應該取哪個系統的數據。
通過數據標準的建設，可消除數據跨系統的非一致性，從根源上解決數據定義和使用的不一致問題，爲企業數據建設帶來諸多好處：
數據標準的統一制定與管理，可保證數據定義和使用的一致性，促進企業級單一數據視圖的形成，促進信息資源共享。通過評估已有系統標準建設情況，可及時發現現有系統標準問題，支撐系統改造，減少數據轉換，促進系統集成，提高數據質量。數據標準可作爲新建系統參考依據，爲企業系統建設整體規劃設計打好基礎，減少系統建設工作量，保障新建系統完全符合標準。同時，數據標準建設也爲企業各類人員提供相應的支撐：
對業務人員而言，數據標準建設可提升業務規範性，保障人員對數據業務含義理解一致，支撐業務數據分析挖掘以及信息共享；
對技術人員而言，有數據標準作爲支撐，可提升系統實施工作效率，保障系統建設符合規範，同時降低出錯機率，提升數據質量；
對管理人員而言，數據標準建設可提供更加完整、準確的數據，更好的支撐經營決策、精細化管理。
三、如何建設數據標準
其實現在很多企業已經逐漸意識到數據標準的重要性，但是苦於沒有成熟解決方案、完善的標準體系制度以及相關經驗，不知數據標準的建設該從何下手。這裏筆者根據以往的數據標準項目經驗，總結了一些數據標準建設流程和關鍵點，供大家參考。
首先數據標準建設需要有相應的數據標準管理組織，並分配好各自的職能，一般數據標準管理組織包括：數據標準決策層，數據標準管理部門和數據標準工作組。
另外數據標準管理工作的展開還需要一系列的數據標準管理制度，包括：數據標準管理辦法文件、數據標準規範文件、數據標準管理操作文件等等。
有了相應的數據標準管理組織和制度作爲保障，數據標準建設的實施流程如下：
第一階段：標準規劃
從實際情況出發，結合業界經驗，收集國家標準、現行標準、新系統需求標準以及行業通行標準等，梳理出數據標準建設的整體範圍，定義數據標準體系框架和分類，並制定數據標準的實施計劃。
第二階段：標準編制
根據數據標準體系框架和分類，先確定各分類數據標準模板，然後由相關人員依據相關國標、行標、技術業務需求等調研結果，進行數據標準的編制，形成數據標準初稿。
第三階段：標準評審發佈
標準編制完成後，爲保證數據標準的完整、規範，還需要對數據標準進行評審，在充分徵求專家意見以及各相關部門人員意見後，對數據標準進行修訂和完善。完善後的數據標準經過領導審批通過後，即可發佈到全企業，形成正式的數據標準。
第四階段：標準落地執行
不是所有的數據標準都能夠完全落地，實際工作中可能會存在歷史系統無法改造的情況，所以首先確定數據標準落地策略和落地範圍，並制定相應的落地方案，然後推動數據標準落地方案的執行，對標準落地情況進行跟蹤並評估成效。
第五階段：標準維護增強
數據標準後續可能會隨着業務的發展變化、國標行標的變化、以及監管要求的變化需要不斷更新和完善。在數據標準維護階段，需要對標準變更建立相應的管理流程，並做好標準版本管理。
另外數據標準建設過程中，還有幾個關鍵點，需要大家注意：
1、標準範圍圈定
不是所有的數據都需要建立數據標準，企業實際數據模型中有上萬個字段，有些模型還會經常變換更新，如果把這些信息全部納入到標準體系中耗費工作量巨大，很難真正實現落地。僅需要對核心數據建立標準並落地，即可達到預期效果，同時也提升了工作效率。
數據標準範圍圈定建議如下：
共享性高、使用頻率高的字段需入標監管報送或發文涉及到的業務信息需入標結合數據使用情況，對於關鍵數據的字段儘量入標數據應用有使用需求的字段需入標與系統人員溝通其系統內重要信息來輔助入標判斷2、落標策略
數據標準落地的工作中，肯定會遇到很多困難，比如某些歷史系統無法改造或者改造成本過大，導致無法落標。這就需要我們針對不同的系統，建立不同的落標策略。
對於新建系統，一般採用強制落標的策略，即新建系統必須符合數據標準，在新系統上線前對其進行數據標準落地評估，如評估結果不合格，則令其整改。
對於已有的歷史系統，採用建議落標的策略，首先將已有系統的標準問題找出來，並進行分析和整理，綜合多方面考慮，包括工作量、整改風險、週期、成本等等，制定了最有效的落標策略，比如等到以後系統升級改造時再落標，通過邏輯轉換方式落標，通過數據倉庫落標等等。
3、工具選型
數據標準建設工作量還是比較大的，完全依靠人工不太現實，所以需要一套完善、易用的數據標準管理工具幫助我們將數據標準建設工作落地。
數據標準管理工具應包括：標準分類管理、標準增刪改查、標準導入導出、標準評審、標準發佈、標準版本管理、標準落地映射、標準落地評估、標準監控等功能。同時爲更好的保障數據標準的落地，最好結合元數據管理工具一起使用。
億信華辰數據標準管理平臺ESDataStandard提供了一套完整的數據標準管理流程及辦法，通過統一的數據標準制定和發佈等一系列的活動，結合制度約束、系統控制等手段，實現企業大數據平臺數據的完整性、有效性、一致性、規範性、開放性和共享性管理。
四、實際案例
最後跟大家分享一個基於億信華辰數據標準管理平臺實際落地的一個數據標準建設案例，這個是在某銀行做的數據標準項目。
1、項目背景
首先是有監管部門的要求以及政策的導向。人行先後下發了《金融機構信息管理規定》、《存、貸款統計分類及編碼標準》等多項標準，並於2014年發佈《銀行數據標準定義規範》，促進金融統計標準化工作進行，加大數據標準化的工作力度。2018年5月，銀保監發佈《銀行業金融機構數據治理指引》，要求銀行業金融機構將數據治理納入公司治理範疇，並與監管評級掛鉤。
同時也是銀行自身的需求導向，包括銀行內部分析決策需求，風險管理的需求以及系統建設要求，均需要提供統一標準且高質量的數據。
2、建設內容
1）數據標準管理體系的框架搭建。
2）數據標準管理主要流程的設計：包括數據標準編制流程，數據標準執行流程和數據標準修訂流程。
3）數據標準的落地實施：通過對源系統進行數據標準的滿足度評估來推動數據標準的落地執行。
3、建設成果
1）確定了該銀行數據標準體系框架。
2）形成了該銀行數據標準管理體系制度。
3）建立基礎數據標準600餘條，覆蓋了公用信息、產品、協議、資產、事件、渠道、參與人、財務8個主題的核心數據，建立代碼數據標準200餘條。
4）將數據標準實施落地，保障核心數據的規範性和一致性。
5）顯著提升了向監管報送的數據質量，大大減少了IT部門數據質量處理任務工單，提升了取數效率。
結語：企業數據標準的建設需要藉助技術手段實現數據標準的實施落地。通過系統管理，推進數標的持續更新，保持數據標準生命力。更多關於數據標準案例的介紹，更詳細的數據標準建設方法，更完善的數據標準工具體驗，如感興趣查看往期文章。