數據整合(Data Consolidation)
數據整合(Data Consolidation)的概念
數據整合是把在不同數據源的數據收集、整理、清洗,轉換後(有點像ETL)加載到一個新的數據源,爲數據消費者提供統一數據視圖的數據集成方式。
數據整合(data consolidation)和數據集成(data integration)的區別在於:數據整合是單純的數據整合,而數據集成的涵蓋範圍要比數據整合要廣。另外由於國內翻譯的原因,很多時候數據整合和數據集成的概念有些混淆
數據整合和數據聯邦的區別在於,數據整合需要一個實際的物理數據源來作爲統一數據視圖的數據來源。
數據整合的優點
1. 底層數據結構的透明:爲數據訪問(消費應用)提供了統一的接口,消費應用無需知道:數據在哪裏保存;源數據庫支持那種方式的訪問(XQuery,SQL);數據的物理結構;網絡協議等。
2. 性能和擴展性:數據整合把數據集成和數據訪問分成了兩個過程,因此訪問時數據已經處於準備好的狀態.
3. 提供真正的單一數據視圖,數據視圖data view這個概念大家很容易理解,數據整合(Data Consolidation)的優勢是經過了數據校驗和數據清理,你看到的數據更加真實,準確,可靠
4. 可重用性好:由於有了實際的物理存儲,數據可以爲各種應用提供可重用的數據視圖,而不用擔心底層實際的數據源的可用性。
5. 數據管控能力加強: 管控是SOA裏面重要的概念。數據整合(Data Consolidation)的優勢是數據規則可以在數據加載,轉換中實施,保證了數據管控。
數據整合的缺點
1. 由於有了ETL的過程,很難保證數據的實時性。
2. 另外數據的物理備份,對於實施成本也相應的增加了不少。
使用場景:
1. 傳統的數據集市和數據倉庫
2. SOA下的使用場景一。通過數據整合後的平臺提供DATA SERVICE. 圖片來自IBM DEVELOPERWORKS
3. SOA下的使用場景二。在數據整合的過程中提供數據服務。圖片來自IBM DEVELOPERWORKS
4. SOA下的使用場景三. 數據整合平臺利用已有的數據服務提取數據。這個場景比較有意思,我多寫幾句。圖片來自IBM DEVELOPERWORKS
這種場景下類似pub/sub模式,一旦底層的數據源數據有所變化,它會主動通知數據整合平臺,數據處理也變得簡單,只處理變化部分的數據,使得數據視圖變得準實時和數據處理過程更加高效。