第一次接觸【數據治理】之後的學習筆記

數據資產的價值發掘依賴於有序、完整和高質量的數據，數據治理則是保障數據質量和實現數據價值的基礎。

數據治理的背景是由於公司戰略政策和業務日益變大的數據需求和要求所產生的。原有的模式已不能帶動業務的增長，需要通過數據手段賦能新的業務增長點，而業務對數據也提出了準確性、及時性等要求，從而產生了數據治理項目的啓動。

1 數據治理是什麼

數據治理這項工作一直都是存在的，與數據庫設計的三範式一樣都是爲了數據的管理。數據治理是一整套完整的組織、制度、技術管理行爲。

（非嚴格定義）數據治理是指從使用零散數據變爲使用統一數據、從具有很少或沒有組織流程到企業範圍內的綜合數據管控、從數據混亂狀況到數據井井有條的一個過程。

數據治理強調的是一個從混亂到有序的過程。從範圍來講，數據治理涵蓋了從前端業務系統、後端業務數據庫再到業務終端的數據分析，從源頭到終端再回到源頭，形成的一個閉環負反饋系統。從目的來講，數據治理就是要對數據的獲取、處理和使用進行監督管理。

具體來說，數據治理就是以服務組織戰略目標爲基本原則，通過組織成員的協同努力，流程制度的制定，以及數據資產的梳理、採集清洗、結構化存儲、可視化管理和多維度分析，實現數據資產價值獲取、業務模式創新和經營風險控制的過程。

所以，數據治理是一個逐步實現數據價值的過程，是一種持續性的服務而不是有明確範圍的一錘子買賣。

數據治理的對象包括數據、開發流程、管理流程、制度、組織。只要與目標相關聯的，都可以算作治理的對象。數據治理就是將關聯方通過一套完整的管理行爲，形成有序的工作以達成目標。

2 爲什麼需要數據治理

當前，企業變革已經成爲企業適應劇烈變化的市場環境、實現長期發展的必經之路。然而，過去爲組織帶來工作效率提升的煙囪式孤島式的業務系統已經成爲組織變革重組的阻力，這也是從數據層面打通各個組織單元、實現業務單元快速重組的阻力，這也是從數據層面打通各個組織單元、實現業務單元快速重組的最根本的需求來源。

企業實施數據治理的根本原因如下：

1、經過多年的信息化建設，企業和政府部門都圍繞着業務需求建設了衆多的業務系統，導致數據的種類和數量大量增加。但是在使用數據時，面對的困難重重。

2、因爲各個業務系統都是圍繞着業務需求來建設的，當業務環境發生變化時，原來的業務系統不能互聯互通，不能滿足跨部門、跨職能、跨組織的協作需求。

3、各個業務系統所產生的海量數據以複雜而分散的形式存儲，導致數據之間的不一致和衝突等問題，從而導致數據在應用過程中的無所適從，難以實現數據的深度利用，從而難以實現業務模式創新和經營風險控制。

3 數據治理的目標

從組織職能和體量大小方面來看，不同類型組織的數據治理目標大不相同，如：

1、集團企業總部和政府大數據管理局的目標是：制定數據政策、保障數據安全、促進數據在組織內無障礙共享，其重點目標是推進和保障數據戰略的順利實施；

2、企業和政府業務部門的目標是：通過提升信息管理能力，提升組織精細化管理水平，提高業務運營效率，增強組織決策能力和核心競爭力，從而爲實現組織戰略目標提供能力支撐，其重點目標是數據價值獲取、業務模式創新和經營風險控制。

4 數據治理項目的範圍

數據治理框架如下：

目前總結的數據治理領域包括但不限於：組織建設、數據安全、數據開發、數據質量、元數據管理、數據價值、數據標準、數據模型、數據分佈、數據存儲、數據交換、數據生命週期管理以及數據共享服務。每一個數據治理的領域都可以作爲一個獨立方向進行研究治理。

同時各領域之間需要有機結合，如數據標準、元數據、數據質量等幾個領域相互協同和依賴。通過數據標準的管理，可以提升數據合法性、合規性，進一步提升數據質量，減少數據生產問題；在元數據管理的基礎上，可進行數據生命週期管理，有效控制在線數據規模，提高生產數據訪問效率，減少系統資源浪費；通過元數據和數據模型管理，將表、文件等數據資源按主題進行分類，可明確當事人、產品、協議等相關數據的主數據源歸屬、數據分佈情況，有效實施數據分佈的規劃和治理。

數據治理領域是隨着銀行業務發展而不斷變化的，領域之間的關係也需要不斷深入挖掘，最終形成一個相互協同與驗證的領域網，全方位的提升數據治理成效。

4.1 元數據管理

元數據可分爲三類：

1.業務元數據是定義和業務相關數據的信息，用於輔助定位、理解及訪問業務信息，從業務的視角去描述數據，讓不懂數據的人可以快速讀懂數據。如：業務指標、業務規則、數據質量規則、專業術語、數據標準、概念數據模型、實體/屬性、邏輯數據模型等；
2.技術元數據是從技術的角度去描述數據。可分爲結構性技術元數據和關聯性技術元數據。結構性技術元數據提供了在信息技術的基礎架構中對數據的說明，如數據的存放位置、數據的存儲類型、數據的血緣關係等。關聯性技術元數據描述了數據之間的關聯和數據在信息技術環境之中的流轉情況，如技術規則、數據質量規則技術描述、字段、衍生字段等。技術元數據一般以已有的業務元數據作爲參考設計的；
3.操作元數據是指與元數據管理相關的組織、崗位、職責、流程以及系統日常運行產生的操作數據。操作元數據管理的內容主要包括：與元數據管理相關的組織、崗位、職責、流程、項目、版本以及系統生產運行中的操作記錄，如運行記錄、應用程序、運行作業。

元數據的管理包含：

1.血緣分析：對元數據的上下游進行分析。
2.數據生命週期：數據都存在生命週期，當元數據訪問量變低，數據價值不存在的時候，可將它下線清除，釋放存儲空間。

4.2 數據安全

商業銀行的重要且敏感數據大部分集中在應用系統中，例如客戶的聯絡信息、資產信息等，如果不慎泄露，不僅給客戶帶來損失，也會給商業銀行帶來不利的聲譽影響，因此數據安全在數據管理和治理過程中的相當重要的。

• 數據存儲安全。包括物理安全、系統安全、存儲數據的安全，主要通過安全硬件的採購來保障數據存儲安全。
• 數據傳輸安全。包括數據的加密和數據數據網絡安全控制，主要通過專業加密軟件廠商進行規範設計和安裝。
• 數據使用安全。需要加強從業務系統層面進行控制，防範非授權訪問和下載打印客戶數據信息；部署客戶端安全控制工具，建立完善的客戶端信息防泄漏機制，防範將客戶端上存儲的個人客戶信息非授權傳播；建立完善的數據安全管理體系，建立數據安全規範制度體系，組建數據安全管理組織機構，建立有效的數據安全審查機制；對於生產及研發測試過程中使用的各類敏感數據進行嚴密管理；嚴格與外單位合作中的個人客戶信息安全管理等。

數據安全主要是對數據的安全脫敏管控和安全檢查，脫敏機制有兩種方案：

1.在數據倉庫的接入和輸出進行脫敏管控：數據接入識別敏感信息，通過脫敏工具進行脫敏處理，產生脫敏表和敏感表（兩張表之間要有映射關係）。敏感數據不對中間層開放，對於數據倉庫中間層則只有脫敏表，開發和測試的時候也只能使用脫敏表。在數據輸出層，首先應用層的開發先對敏感數據進行申請，申請通過後得到敏感表的使用權，開發通過映射關係將敏感表和脫敏數據進行關聯處理。這種方案的好處是：安全易管控，脫敏過程少，但會增加開發的工作量。
2.針對用戶進行脫敏管理，數據倉庫的每一層都需要對敏感數據進行脫敏處理，對於敏感數據申請權限的用戶可以查看敏感信息，沒有權限的用戶只能查看脫敏表。這種脫敏機制好處在於對開發沒什麼影響，但是加大安全管理的複雜度，需要全域掃描敏感信息，脫敏工作量大。

4.3 數據質量

數據質量管理已經成爲銀行數據管理的有機組成部分。高質量的數據是商業銀行進行分析決策、業務發展規劃的重要基礎，只有建立完整的數據質量體系，纔能有效提升銀行數據整體質量，從而更好地爲客戶服務，提供更爲精準的決策分析數據。

從技術層面上，應該完整全面地定義數據質量的評估標準，包括完整性、時效性等，按照已定義的維度，在系統建設的各個階段都應該根據標準進行數據質量檢測和規範，及時進行治理，避免事後的清洗工作。

明確相應的管理流程。數據質量問題會發生在各個階段，因此需要明確各個階段的數據質量管理流程。如，在需求和設計階段就需要對明確數據質量的規則定義，從而指導數據結構和程序邏輯的設計；在開發和測試階段則需要對前面提到的規則進行驗證，確保相應的規則能夠生效；最後在投產後要有相應的檢查，從而將數據質量問題儘可能消滅在萌芽狀態。數據質量管理措施，宜採用控制增量、消滅存量的策略，有效控制增量，不斷消除存量。

數據質量的提升通常包含以下幾個方面：

1.數據質量評估：提供數據質量評估能力，如數據一致性、完整性、正確性、合規性、及時性等，對數據進行全面檢查；
2.數據質量檢查：提供可配置化的檢查規則，通過腳本定時調度執行；
3.數據質量監控：提供報警規則，根據配置檢查規則的閥值，對超出閾值的情況進行不同程級的警告和通知；
4.問題處理機制：對數據問題按照流程進行處理，規範問題處理機制和步驟，強化問題認證，提高數據質量；
5.根據血緣關係和業務場景鎖定高價值數據，進行高安全級別的管控，避免數據出錯。

4.4 數據價值

數據治理最重要的產出物，通過數據治理能爲業務帶來的業務價值。對於不同的【看數據角色】定義不同的價值，對於數據業務分析人員，通過數據標準化管理和平臺搭建，讓不懂數據的人員能夠快速掌握數據，並且自己可以進行數據挖掘、數據分析等工作。

對於高層領導，將公司的業務數據以報告的形式，讓領導快速瞭解數據的成本及分佈情況。不同的公司側重的價值會不一樣，數據治理同時也能有效地控制數據成本，減少因爲數據帶來的摩擦，提升數據質量和安全。

4.5 數據開發

對數據開發進行標準的流程管理是數據治理核心的一部分，首先根據公司實際情況分析，制定可落地的數據開發管理規範。過於複雜的數據開發規範維護成本高，同時也加重了開發工作量，導致難以執行。過於簡單的規範又無法很好的管理開發流程。最主要的還是定製好規範後讓各關聯方進行評審，從可落地、可管理的角度去評估規範。

當規範制定好後，就按照規範進行落地執行，通常數據開發規範包含：數據建模、數據設計、數據項目部署和實施。

數據建模是一種分析和設計方法，用於【定義和分析數據需求】與【設計滿足需求的數據結構】。

4.6 組織建設

數據組織是保障數據治理能夠長期有效的重要手段之一，通常數據組織都是可以跨職責的，組織的職能和分類如下：

1.數據治理委員會，在公司內部擁有數據的最高決策權，代表了企業的高層視角；
2.數據管理指導委員會，爲數據治理委員會提供支持，針對一些具體數據管理措施起草相關政策和標準，供委員會評審和批准；
3.數據管理制度團隊，在某個業務領域內，協助完成數據制度管理的數據管理專員小組。數據管理制度團隊來自不同的部門和跨業務領域的數據專家。

4.7 數據模型

數據模型是數據治理中的重要部分，合適、合理、合規的數據模型，能夠有效提高數據的合理分佈和使用，它包括概念模型、邏輯數據模型和物理數據模型，是數據治理的關鍵、重點。數據模型包括三個部分：數據結構、數據操作、數據約束：

1、數據結構。數據模型中的數據結構主要用來描述數據的類型、內容、性質以及數據間的聯繫等。數據結構是數據模型的基礎，數據操作和數據約束都基本是建立在數據結構之上的。不同的數據結構有不同的操作和約束。
2、數據操作。數據模型中的數據操作主要用來描述在相應的數據結構上的操作類型和操作方式。
3、數據約束。數據模型中的數據約束主要用來描述數據結構內數據間的語法、詞義鏈系、數據之間的制約和依存關係，以及數據動態變化的規則，以保證數據的正確、有效和相容。

4.8 數據標準

數據標準是銀行建立的一套符合自身實際，涵蓋定義、應用、操作多層次數據的標準化體系。它包括基礎標準和指標標準（或稱應用標準）。與數據治理其他核心領域具有一定的交叉，如元數據標準、數據交換和傳輸標準、數據質量標準等。商業銀行的數據標準一般以業界的標準爲基礎，如國際標準、監管機構（如國家統計局、中國人民銀行、工信部）指定的標準，結合商業銀行本身的實際情況對數據進行規範化，一般會包括格式、編碼規則、字典值等內容。良好的數據標準體系有助於商業銀行數據的共享、交互和應用，可以減少不同系統間數據轉換的工作。數據標準主要由業務定義、技術定義和管理信息三部分構成：

1、業務定義。業務定義主要是明確標準所屬的業務主題以及標準的業務概念，包括業務使用上的規則以及標準的相關來源等。對於代碼類標準，還會進一步明確編碼規則以及相關的代碼內容，以達到代碼統一、口徑統一、名稱統一、參照統一以及來源統一的目的，進而形成一套一致、規範、開放和共享的業務標準數據。
2、技術定義。技術定義是指描述數據類型、數據格式、數據長度等技術屬性。從而能對信息系統的建設和使用提供指導和約束。
3、管理信息。管理信息是指明確準準的所有者、管理人員、使用部門等內容，從而使數據標準的管理和維護工作有明確的責任主體，以保障數據標準能夠持續的進行更新和改進。

4.9 數據生命週期管理

任何事物都具有一定的生命週期，數據也一樣。從數據的產生、使用、加工乃至消亡都應該有一個科學的管理方法，將極少或者不再使用的數據從系統中剝離出來，並通過覈實的存儲設備進行保留，不僅能夠提高系統的運行效率，更好的服務客戶，還能大幅度減少因爲數據長期保存帶來的儲存成本。數據生命週期一般包含在線階段、歸檔階段（可進一步劃分爲在線歸檔階段和離線歸檔階段）、銷燬階段三大階段，管理內容包括建立合理的數據類別，針對不同類型的數據制定各個階段的保留時間、存儲介質、清理規則和方式、注意事項等。

4.10 數據分佈與存儲

數據分佈和存儲主要涵蓋了數據如何劃分和存儲，總行（讀音爲hang）數據以及總分行（讀音爲hang）數據如何分佈，主數據以及參考數據（也成爲副本數據或輔數據）如何管理。只有對數據進行合理的分佈和存儲，纔能有效地提高數據的共享程度，才能儘可能地減少數據冗餘帶來的存儲成本。

綜合數據規模、使用頻率、使用特性、服務時效等因素，從存儲體系角度，可以將商業銀行的數據存儲劃分爲四類：

1、交易型數據區。包括渠道接入、交互控制、業務處理、決策支持與管理等各類聯機應用數據；存儲客戶自助或與銀行操作人員在業務交互辦理過程中產生的原始數據的存儲，包括業務處理數據，內部管理數據和一些外部數據，其存儲的是當前狀態數據。
2、集成型數據區。包括操作型數據和數據倉庫型數據。
3、分析型數據區。包括主要用於決策支持與管理的各類集市應用的數據。爲了對業務執行情況進行深入分析，需要對原始數據進行進一步彙總統計分析，統計分析結果用於最終的決策展示，因此分析型數據區存儲了這些統計、分析模型結構的指標數據。
4、歷史型數據區。這裏存儲了所有近線應用、歸檔應用、外部審計數據平臺應用等數據，主要滿足各種歷史數據歸檔後的數據保管和數據查詢服務。

4.11 數據交換

數據交換是銀行進行數據交互和共享的基礎，合理的數據交換體系有利於銀行提高數據共享程度和數據流轉時效。一般商業銀行會對系統間數據的交換規則制定一些原則，比如對接口、文件的命名、內容進行明確，規範系統間、銀行系統與外部機構間的數據交換規則，指導數據交換工作有序進行。建立統一的數據交換系統，一方面可以提高數據共享的時效性，另一方面也可以精確掌握數據的流向。

4.12 數據服務

數據的管理和治理是爲了更好的利用數據，是數據應用的基礎。銀行應該以數據爲根本，以業務爲導向，通過對大數據的集中、整合、挖掘和共享，實現對多樣化、海量數據的快速處理及價值挖掘，利用大數據技術支持產品快速創新，提升以客戶爲中心的精準營銷和差異化客戶服務能力，增強風險防控實時性、前瞻性和系統性，推動業務管理向信息化、精細化轉型，全面支持信息化銀行的建設。

1.建立結構化數據處理分析平臺。數據倉庫建設能夠實現企業異構數據的集成，企業按照分析主題重組數據，建立面向全行的一致的信息視圖。

2.數據資產視圖。在建立了數據倉庫之後，需要建立統一的分析和可視化平臺，解決數據在哪裏，數據怎麼用的問題。

5 數據治理存在的問題與困難

數據治理既是技術問題也是管理問題。如項目管理系統只是一個工具，如何讓項目管理工具與項目管理思想相匹配纔是項目管理系統實施過程中的最大挑，也才能發揮最大的效果。數據治理也是一樣。組織信息化建設正從以應用爲中心向以數據爲中心轉變的關鍵時期，組織也逐步認識到數據的巨大價值，但是低質量的數據和複雜的數據應用手段讓數據價值發掘的效果大大降低，甚至會讓組織決策層喪失數字化轉型的信心。

如果在項目實施的初期能辨識出影響項目實施效果的困難，並找到相應的解決方法，就顯得異常重要。下面是常見的數據治理問題：

1、跨組織的溝通協調問題。數據治理是一個組織的全局性項目，需要IT部門與業務部門的傾力支持，需要各個部門站在組織戰略目標和組織長遠發展的視角來看待數據治理。因此，數據治理項目需要得到組織高層的支持，在允許的情況下，成立以組織高層牽頭的虛擬項目小組，這樣會讓數據治理項目事半功倍。

2、投資決策的困難。組織的投資決策以能夠產生可預期的建設成效爲前提，但往往綜合性的數據治理的成效並不能立馬體現，數據治理更像一個基礎設施，是以支撐組織戰略和長期發展爲目標，所以導致此類項目無法界定明確的邊界和目標，從而難以作出明確的投資決策。

3、工作的持續推進。數據治理是以支撐組織戰略和長遠發展爲目標，應不斷吸收新的數據來源，持續追蹤數據問題並不斷改進，所以數據治理工作不應當是一蹴而就的，應當建立長效的數據改進機制，並在有條件的情況下，自建數據治理團隊。

6 數據治理包括哪些內容

上圖爲國標 GB/T 34960 的數據治理框架。

1、頂層設計是數據治理實施的基礎，是根據組織當前的業務現狀、信息化現狀和數據現狀，來設定組織的職權，並定義符合組織戰略目標的數據治理目標和可行的行動路徑。

2、數據治理環境是數據治理成功實施的保障，指的是分析領導層、管理層、執行層等利益相關方的需求，識別項目支持力量和阻力，制定相關制度以確保項目的順利推進。

3、數據治理域是數據治理的相關管理制度，是指指定數據質量、數據安全、數據管理體系等相關標準制度，並基於數據價值目標構建數據共享體系、數據服務體系和數據分析體系。

4、數據治理過程就是一個PDCA（plan-do-check-act）的過程，是數據治理的實際落地過程，包含確定數據治理目標、制定數據治理計劃、執行業務梳理、設計數據架構、數據採集清洗、存儲核心數據、實施元數據管理和血緣追蹤，並檢查治理結果與治理目標的匹配程度。

7 數據治理需要的工具

從技術實施角度看，數據治理包含“理-採-存-管-用”這五個步驟，即業務和數據資源梳理、數據採集清洗、數據庫和存儲、數據管理、數據使用。

• 數據資源整理：數據治理的第一個步驟是從業務的視角釐清組織的數據資源環境和數據資源清單，包含組織機構、業務事項、信息系統，以及以數據庫、網頁、文件和API接口形式存在的數據項資源，本步驟的輸出物爲分門別類的數據資源清單。

• 數據採集清洗：通過可視化的ETL工具（如阿里的DataX）將數據從來源端經過抽取（extract）、轉換（transform）、加載（load）至目的端的過程，目的是將散落和零亂的數據集中存儲起來。

• 基礎庫主題庫建設：一般可以將數據分爲基礎數據、業務主體數據和分析數據。基礎數據一般指的是核心實體數據，或稱主數據，例如智慧城市中的人口、法人、電子證照等數據。主題數據一般指的是某個業務主體數據，例如市場監督管理局的食品監管、質量監督檢查、企業綜合監管等數據。而分析數據指的是基於業務主題數據綜合分析而得的分析結果數據，例如市場監督管理局的企業綜合評價、產業區域分佈、高危企業分佈等。那麼基礎庫和主題庫的建設就是在對業務理解的基礎上，基於易存儲、易管理、易使用的原則抽象數據存儲結構，簡單來說，就是基於一定的原則設計數據庫表結構，然後再根據數據資源清單設計數據採集清洗流程，將整潔乾淨的數據存儲到數據庫或數據倉庫中。

• 元數據管理：元數據管理是對基礎庫和主題庫中的數據項屬性的管理，同時，將數據項的業務含義與數據項進行了關聯，便於業務人員也能夠理解數據庫中的數據字段含義 ，並且，元數據是後面提到的自動化數據共享、數據交換和商業智能的基礎。需要注意的是，元數據管理一般是對基礎庫和主題庫中（即核心數據資產）的數據項屬性的管理，而數據資源清單是對各類數據來源的數據項的管理。

• 血緣追蹤：數據被業務場景使用時，如果發現了數據錯誤，數據治理團隊需要快速定位數據來源，修復數據錯誤。數據治理團隊還需要知道業務團隊的數據來自於哪個核心庫，核心庫的數據來源於哪個數據源頭。經驗是在元數據和數據資源清單之間建立關聯關係，且業務團隊使用的數據項由元數據組合配置而來。這樣就建立了數據使用場景與數據源頭之間的血緣關係。

• 數據資源目錄：數據資源目錄一般應用於數據共享的場景，例如政府部門之間的數據共享，數據資源目錄是基於業務場景和行業規範而創建，同時依託於元數據和基礎庫主題而實現自動化的數據申請和使用。

• 質量管理：數據價值的成功發掘必須依託於高質量的數據，唯有準確、完整、一致的數據纔有使用價值。因此，需要從多維度來分析數據的質量，如：偏移量、非空檢查、值域檢查、規範性檢查等。優秀的數據質量模型的設計必須依賴於對業務的深刻理解，在技術上也推薦使用大數據相關技術來保障檢測性能和降低對業務系統的性能影響，如Hadoop，MapReduce等。

• 商業智能(BI)：數據治理的目的是使用數據。對於一個大型的數據倉庫來說，數據使用的場景和需求是多變的，可以使用商業智能類的產品快速獲取需要的數據，並分析形成報表，較爲知名的產品有：Microsoft Power BI，QlikView，帆軟等。

• 數據共享交換：數據共享包括組織內部和組織之間的數據共享，共享方式也分爲庫表、文件和API接口三種共享方式。庫表共享比較直接，文件共享通過ETL（抽取extract-轉換transform-加載load）工具做一個反向的數據交換就可以實現。推薦使用API接口共享方式，在這種方式下，能夠讓中心數據倉庫保留數據所有權，把數據使用權通過API接口的方式進行了轉移。API接口共享可以使用API網關實現，常見的功能是自動化的接口生成、申請審覈、限流、限併發、多用戶隔離、調用統計、調用審計、黑白名單、調用監控、質量監控等等。

8 數據治理的展望

數據治理不是一個臨時性的運動，從銀行業務發展、數據治理意識形成、數據治理體系運行的角度，需要一個長效機制來進行保證。在大數據時代，經過數據治理的銀行數據可以發揮更大的作用。

1.利用大數據挖掘技術分析各類海量信息，發現市場熱點與需求，實現產品創新服務。 可將大數據應用到產品生命週期，深入挖掘客戶需求，把握客戶痛點，推動產品創新。利用大數據技術對社交網絡信息、在線客戶評論、博客、呼叫中心服務工單、用戶體驗反饋等信息進行深度挖掘和分析，充分洞察用戶，分析客戶的情緒，瞭解客戶對產品的想法，獲知客戶需求的變化趨勢，從而對現有產品進行及時的調整和創新，貼近客戶的生活場景和使用習慣。基於大數據創新產品評價方法，爲產品創新提供數據支撐。通過大數據分析，改變目前以規模、總量爲主的業務評價方式，建立一整套完整的以質量、結構爲主的全新的評價方式，以引導全行真正追求有質量、有效益的發展。

2.加強內外部信息聯動，重點利用外部信息提升銀行風險防控能力。進一步加強與稅務、海關、法院、電力部門、水務部門、房產交易登記登記中心、環保部門以及第三方合作機構的數據互聯共享，有效拓寬信息來源渠道，深度挖掘整合系統內外客戶信息、關聯關係、交易行爲、交易習慣、上下游交易對手、資金週轉頻率等數據信息，利用大數據技術查找與分析不同數據變量間的關聯關係，並建立相應的決策模型，提升銀行風險防控能力。

• 在信用風險方面，可以結合外部數據，完善信用風險防範體系，基於可視化分析有效防控信用風險的傳導。引入大數據理念和技術，統一信用風險模型管理，構建覆蓋信用風險訓練、模型管理、日常預警、評分評級、客戶信用視圖以及業務聯動控制的信貸大數據平臺，建立多維度、全方位的預警體系。
• 在市場風險方面，基於市場信息有效預測市場變動，基於大數據處理技術提升海量金融數據交易的定價能力，構建定價估值引擎批量網格計算服務模式，支持對海量交易的實時定價，有效提升銀行風險管控與定價能力，爲金融市場業務的發展提供有力支撐。
• 在操作風險方面，依託大數據信息整合優勢，有效防控操作風險。通過可視化技術，從業務數據中發現並識別風險線索，實現由“風險監控”向“業務監控”模式轉變，提升風險的提前預警能力。加強跨專業風險監控模型的研發，通過由點帶線、由線及面的矩陣式關聯監控，提前識別風險交織趨勢，防範風險傳染。

3.利用大數據技術提升經營管理水平，優化業務流程，實現精細化經營決策

• 在經營決策方面，通過外部數據的補充和整理，實現經營分析外延的拓展，從市場和經營環境的高度分析各級機構的發展方向、競爭壓力，制定更合理、更有效的經營策略。同時，應用大數據可視化技術，實現複雜分析過程和分析要素向用戶的有效傳遞，增強分析結果的說服力和指導性，向經營人員提供有力的信息支撐。
• 在資源配置方面，依託大數據採集和計算能力，提升測算的敏感性和有效性，加強財務預測的可靠性和有效性，爲總體資源配置提供更好的信息支撐，實現對具體資源配置的動態管理。
• 在過程改進方面，優化業務流程，對交易、日誌的專業挖掘，探索當前業務處理流程節點的瓶頸，尋求最有效的解決方案。比如通過分析客戶從排隊到等候完成全部交易的流程合理性，提出過程改進方法，提升網點整體運營效率和客戶體驗。
• 在運維保障方面，基於流數據處理技術，搭建準實時的應用交易級監控平臺，實現交易運行情況的即時監控，保障業務運行穩定高效。

9 參考文獻

1.【有關數據治理的本質及實踐，看這一篇就夠了】-蘇槐
2.【談談數據治理是什麼？】-木子姐
3.【數據治理怎麼做？這篇萬字長文終於講清楚了！】-數據工程師金牛