數據集成之主數據管理（一）基礎概念篇
作者：woohooli（轉自C博客）
數據集成是當下比較熱門的話題，相關的產品和平臺也越來越多。很多CIO都在各種數據集成平臺和產品之間猶豫不決。因此對數據集成平臺的框架體系有全面的理解，對各個廠家產品所提供的功能有深入的認識才能爲數據平臺選型的決策提供可靠的保證。
我有幸參與了國內一個知名企業的集成平臺的設計工作，並主導了數據集成平臺的需求分析和產品選型工作。這次工作中，研究了很多新的技術方向和產品，下面我主要講一下數據集成領域的一種新興的產品平臺主數據管理平臺MDM（Master Data Management）。
主數據的概念
首先介紹一下什麼是主數據。這裏借用其他網站的一個數據分類模型，我們可以看到有元數據（metadata）,引用數據（Reference Data），主數據（Master Data），企業結構數據（Enterprise structure Data）,交易活動數據（Transaction Activity Data），交易審計數據（Transaction Audit Data）這六大類數據。
簡要解釋一下這六大類的數據，關於這些數據分類的定義可以在網上很容易的找到。
元數據：數據的數據，平時我們設計表時，大部分屬性字段就是元數據。比如，性別，國籍，出生省份等。這個是最接近自然意義的的數據。
引用數據：元數據的可能取值範圍，我們設計表時所說的數據字典往往就是引用數據。比如，性別只能是男和女，男和女就是引用數據。國家的引用數據就是世界上這100多個國家和地區；
主數據：在我們數據庫設計中最重要的一些實體，是由元數據和引用數據實例的集合。DMReview 專欄作家 Jane Griffin 將主數據定義爲“...用於爲核心業務實體創建和維護全企業‘記錄系統’，以記錄業務交易並評定這些實體的業績所需的信息。”平時我們常碰到的客戶信息，產品信息都屬於主數據。對於主數據的介紹，我們會在後面詳細展開說明。
企業結構化數據：企業業務中所需的數據實體 ，可能是多個主數據的集合。不同行業的結構化數據會有很大不同。
交易活動數據：主數據之間活動產生的數據。比如客戶購買產品的交易記錄就是交易活動數據，工廠生產產品，生產記錄也是交易活動數據。
交易審計數據：我們對數據的所有活動都通過交易審計數據進行記錄。比如我們對客戶信息修改的操作，對交易的增加和刪除操作，這些活動在很多關鍵系統（比如銀行）都需要記錄，以合符相應法規的要求（如 Basel II、薩班斯—奧克斯利法案）。
下圖中數據模型中的藍色越深代表語義相關性越強和數據質量越重要，而***越深代表數據的數據數量越多、更新的頻率越快、實時抓取的數據越快、數據的生命越短。下圖可以看到，元數據的數據語義性最強，幾乎不更新，數據量最少，生命週期最長。
http://www.dmreview.com/issues/20060401/1051002-1.html
主數據是企業應用系統中最基本的業務單元，下面是一段英文的原文：Master Data are the fundamental business data in the company, typically long-lived and used across multiple applications。
Core Master Data are operational entities, supporting all fundamental business activity transactions being executed on this level. The Core Master data are common and shareable within the organization。
我覺得很好理解，比如一個產品系統，它處理的基本數據就是生產數據。HR系統處理的基本數據是僱員；CRM系統是客戶
一般來說核心主數據包含：Customers, Contracts, Suppliers, Distributors/Partners,Employees等等。
另外，各個行業對於主數據的管理的需求和期望會有很大不同，因此行業經驗對於主數據管理也是很重要的。
主數據管理的概念
從上面的介紹可以瞭解，主數據並不是什麼新的概念，但爲什麼之前沒有主數據管理的產品呢？其實，解釋這個問題和解釋數據集成出現的原因很類似。因爲之前主數據依附於各個單獨的業務系統，比如HR, ERP，SCM，企業的網站，商業合作伙伴的系統都可能對某一個主數據有存儲，比如某個產品。問題隨之來了，如系統間數據編碼不一致；數據的冗餘；某些系統數據的不完整。舉個實際的例子，如果我們新建一個BI的系統，那麼有可能我需要從生產系統，財務系統，物流系統，企業合作伙伴系統多個系統拿到一個完整的關於主數據的信息。顯然，需要一種解決方案，能夠提供一個單一的主數據訪問接口，以提高主數據訪問的效率；爲企業的市場、銷售、客戶關係管理等活動提供可靠的數據，提高企業的敏捷性。
主數據管理：主數據管理是數據管理的一種高級形式，它必須構建於ETL或者EII（Enterprise Information Integration）等技術之上，因此很多主數據管理平臺本身就包含了數據抽取、數據加載、數據轉換、數據質量管理、數據複製和數據同步等功能。也有某些廠商把MDM作爲數據集成產品的一個模塊交付給客戶。
無主數據管理時對主數據訪問
主數據分散在各個系統造成的問題：
數據在各個系統冗餘，造成數據訪問繁瑣；編碼不統一； 數據不同步，缺乏一致性；
給企業業務帶來了如下影響：
延誤產品面市時間；產品供不應求；不準確的訂單交付 ；銷售效能低下；客戶滿意度降低；生產力降低。
有主數據管理平臺時對主數據的訪問的圖示
主數據管理平臺帶來的好處：
有統一的主數據訪問平臺；企業能夠提供一致的完整的共享信息平臺；集中的內容豐富和乾淨的數據中心；爲使用數據的應用，企業業務流程和決策系統提供了一個真實的數據訪問通道。
我個人感覺MDM平臺建立之後，最受益的還是BI相關的應用。
主數據管理平臺的功能模塊
Master Repositories(主數據資源庫):：X-Ref DB, Masters DB, Master Data Applications;
Data Quality(數據質量保證)：源數據的質量檢查，從源數據系統傳輸到數據緩儲區的所有數據都應首先接受質量檢查後才能導入，源數據的質量檢查應包括接口數據文件格式是否標準化的確認、文件大小確認，記錄數、文件生成時間的確認等內容； ETL系統質量檢查，包括對主外鍵關係、編碼規範的檢查。每次數據的抽取、轉換和加載都必須有完整的日誌記錄，並在加載完成後確認記錄數前後一致。
Data enrichment(數據深度分析，關聯性分析)：企業內部分析；
System Integration（集成組件）：主數據管理器；服務總線（提供data service）；異常處理；映射（mapping）/轉換（Transforming）/加載（loading）；數據交換（Data exchange）；同步流程（Workflow）；Business System；元數據/主數據訪問控制；數據錄入控制；數據採集；管理/安全
主數據管理平臺項目的實施
和很多集成項目一樣，項目的實施最重要的是制定好業務的策略和規劃，業務人員，業務需求和行業專家對數據的理解和分析是關鍵，技術平臺只是我們思想實現的重要工具，不會起決定性的作用。
提供主數據管理平臺的產商
傳統ERP廠商：SAP和ORACLE都基於自己的產品經驗，在它們的ERP套裝軟件產品中加入了主數據管理產品。基於他們行業的經驗，他們的產品有比較完整的主數據管理比較好的數據模型和主數據管理的經驗。Oracle基於自身在CRM和製造行業的深厚經驗，提供非常全面的客戶主數據產品UCM8.0和製造業主數據產品PIM12.0，
中間件廠商：TIBCO有專門的MDM產品，我看到的是他們一年前的產品介紹，感覺功能還比較欠缺，缺少很多重要的功能，當然我還沒有時間研究他們最新的產品。
ORACLE在MDM產品上有着比較明確的戰略和路線圖。在收購BEA後，相信在MDM產品上，ORACLE會結合原本就功能強大的 ODI 工具，加上BEA在數據集成領域產品的特點，基於自己原有的行業經驗，提供更全面的產品，鞏固自己在中間件產品的領先地位。
IBM收購了一個MDM產品，我一向不太願意研究IBM的產品，所以也沒有發言權。我Software AG（WebMethod）做的也可以，有專門的產品，功能也相對完善。但在實施團隊的力量上，要差一些。
oracle產品的資料可以在這裏下載：http://wmdata.com.cn/oracle/iwom-OFM/index.asp?frm=woohooli
對於主數據管理平臺，我會在以後的博客裏面深入一些細節問題進行探討。歡迎有興趣的朋友提寶貴意見。
版權聲明：本文爲博主原創文章，未經博主允許不得轉載。