數據倉庫的大數據集成

集成策略

數據集成是指將來源於不同系統的數據組合在一起，供業務用戶研究不同的行業行爲及客戶行爲的數據處理方式。在數據集成應用早期，數據僅限於交易系統及其應用。業務決策的制定以決策平臺爲指導，而有限的數據集提供了創建決策平臺的基礎。

數據容量與數據類型在過去三十年裏大幅增長，數據倉庫技術從無到有，基礎架構和技術的發展滿足了分析和數據存儲需求。這一切徹底改變了數據集成的前景。

傳統數據集成技術主要關注於架構和相關編程模型的ETL、ELT、CDC和EAI類型。然而，在大數據環境裏，這些技術需要根據規模和處理複雜度等需求進行修改，其中包括需要處理的數據格式。實現大數據處理需要兩個步驟。第一步是實現數據驅動的架構，其中包括數據處理的分析和設計。第二步是物理架構實現，我們將在下面的章節介紹這個步驟。

數據驅動的集成

在建造下一代數據倉庫的技術方法中，企業中所有數據首先會根據數據類型進行分類，也會考慮到數據本身的性質及其相關的處理需求。數據處理過程將會用到內置在處理邏輯中並且整合到一系列編程流程中的業務規則，數據處理會使用到企業元數據、MDM和語義技術（分詞技術）等。

圖10.3顯示了各類數據的入口數據處理過程。這個模型首先基於數據的格式和結構劃分數據類型，然後再進行ETL、ELT、CDC或文本處理技術中各個層次的規則處理。下面，讓我們來分析一下數據集成架構及其優點。

圖10.3

數據分類

如圖10.3所示，數據可以粗略地劃分爲以下分類：

事務處理數據。比如典型的OLTP數據。

Web應用數據。比如組織開發的Web應用所產生的數據。這些數據包括點擊流數據、Web銷售數據及客戶關係和呼叫中心通話數據。

EDW數據。這是來自組織當前所用數據倉庫的現有數據。它可能包括組織中各種不同的數據倉庫和數據集市，它們存儲和處理着供業務用戶使用的數據。

分析數據。這些數據來自於目前組織部署的分析系統。現在這些數據主要基於EDW或事務數據。

非結構化數據。這個大分類包括：

文本：文檔、筆記、記事和通訊錄

圖像：照片、圖表和圖形

視頻：與組織相關的企業和客戶視頻

社交媒體：Facebook、Twitter、Instagram、LinkedIn、論壇、YouTube和社區網站

音頻：呼叫中心通話、廣播

傳感器數據：包括來自營業範圍相關的各種設備的傳感器數據。例如，能源公司會產生智能測量儀表數據，而物流與配送供應商（UPS和FedEx）產生的是卡車和汽車傳感器數據。

天氣數據：現代B2B和B2C公司用天氣數據分析天氣對業務的影響;它已經成爲預測分析的重要元素。

科學數據：應用於醫學、製藥、保險、醫療和金融服務，這些領域都需要複雜的數據計算能力，其中包括模擬和生成模型。

股市數據：許多組織用它處理金融數據，預測市場趨勢、金融風險和進行精算計算。

半結構化數據。其中包括電子郵件、演示文稿、數學模型、圖形和地理數據。

架構

在確定和整理好不同的數據類型之後，就可以清晰確定各種數據特徵——包括數據類型、關聯的元數據、可以標識爲主數據元素的重要數據元素、數據複雜度及擁有和管理數據的業務用戶。

工作負載

處理大數據的最大需求是前面章節所介紹的工作負載管理。

有了數據架構和分類，我們就可以分配可以執行該類數據工作負載需求的基礎架構。

我們可以根據數據容量和數據延遲時間將工作負載大體分成4類（圖10.4）。然後，我們再根據類別將數據分配到物理基礎架構層進行處理。該管理方法可以爲數據倉庫的各個部分創建一種動態可擴展需求，它們可以高效利用當前及未來的新基礎方法。在這個時候，一定要注意的關鍵問題是要保持處理邏輯的靈活性，使它能夠在不同的物理基礎架構組件上發揮作用，因爲數據是根據處理緊迫性進行分類的，這樣相同的數據就可能會被歸類到不同的工作負載上。

工作負載架構將進一步決定混合工作負載管理的條件，來自不同工作負載的數據會一同處理。

例如，通常我們只需要在一個環境中處理一種數據及其負載，如果將高容量低延遲數據和低容量高延遲數據放在一起處理，數據處理環境就會面臨多樣化壓力。同時發生或高頻的用戶查詢和數據加載會進一步加大數據處理的複雜性，情況可能會很快失去控制，然後影響整體性能。如果一個基礎架構同時處理大數據和傳統數據，再加上這些複雜性，那麼問題會更加嚴重。

劃分工作負載的目標是確定數據處理的複雜性，以及如何降低下一代數據倉庫的基礎架構設計的風險。