多源數據匯聚方案

也稱數據上報、數據集中,採用N+1模式,將地理上分佈於多點的下轄部門日常產生的業務數據同步匯聚到數據中心,匯聚後的數據包含原始業務數據所有信息,用於集中共享或向大數據平臺提供輸入數據。該類項目具有以下特點:

1 部門衆多,每個部門包含多個業務系統,不同業務系統採用不同類型數據庫。

2 同一類業務系統在各個部門間存在數據庫類型、表結構不一致等情況。

3 業務數據庫與中心數據庫類型不同導致的數據不兼容問題(空串、字符集編碼等)。

4 每個業務系統匯聚數據涉及成百上千張表,或者存儲在外部文件中。

5 業務系統升級導致的數據格式改變。

6 某段時間內,某個部門到數據中心網絡中斷,或業務系統維護停機或意外宕機。

採用靈蜂ETL軟件Beeload、BeeDI)實施多源數據匯聚項目,具備如下優勢:

1 軟件提供廣泛的數據接口,支持對各類主流數據庫(Oracle、DB2、SQL Server、MySQL、PostgreSQL、Informix等)、外部文件(文本、XML、Excel)進行讀寫訪問。

2 軟件內置豐富的數據轉換功能,如類型轉換、字段運算、參照轉換、字符串處理、字符集轉換、空值處理、日期轉換、聚集運算、既定取值、字段切分、字段合併、字符集轉換等,用於對彙總數據進行標準化。

3 軟件不僅支持圖形界面輔助用戶快速定義數據轉換規則,還額外提供腳本開發環境,當匯聚表數以千計時,使用圖形界面逐表配置會是一個相當繁重耗時的工作,而採用靈蜂ETL軟件強大的腳本功能,可以起到事半功倍的效果。

4 軟件支持同構或異構表結構的讀取比對功能,對於業務表結構的變更,軟件可以自動更新目標表結構並重傳所有數據。

5 軟件支持全量覆蓋、差異更新、增量抽取等數據同步模式。其中增量模式包括時間戳、觸發器、日誌解析(BeeDI支持),增量模式支持數據斷點續傳功能。

6 軟件提供工作流調度功能,用於定義多個相關任務的執行順序、觸發條件、異常邏輯等。

發佈了11 篇原創文章 · 獲贊 1 · 訪問量 4049
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章