數據集成方案

也稱ETL、對跨部門的業務數據進行抽取、合併、清洗標準化,處理後的數據可以存入主數據存儲庫向各個業務系統提供一致的數據視圖(主數據管理),也可按照主題數據格式存入大數據平臺進行數據分析、挖掘(數據倉庫、大數據)。數據集成常見問題如下:

1 涉及部門衆多,數據接口類型多樣化。

2 頂層設計缺失或歷史原因,數據缺乏統一標準,信息孤島、數據碎片化現象嚴重。

3 數據冗餘、數據不一致、錯誤數據等系列問題使得數據質量低下,難以有效檢索利用。

4 對於隨時變化的業務數據,如何將其高效合併到主數據存儲或數據倉庫存儲中。

採用靈蜂數據集成軟件BeeDI實施數據集成項目,具備如下優勢:

1 軟件支持廣泛的數據接口,支持對各類主流數據庫(Oracle、DB2、SQL Server、MySQL、PostgreSQL、Informix、MongoDB、Redis、Teradata、SAP Hana等)、外部文件(文本、XML、Excel)、大數據存儲(Hive、HBase)、消息服務器(Kafka)進行讀寫訪問。

2 軟件提供數據聯邦功能,可以跨庫合併業務數據。支持各種映射轉換,如類型轉換、字段運算、參照轉換、字符串處理、字符集轉換、空值處理、日期轉換、聚集運算、既定取值、字段切分、字段合併等。

3 軟件支持基於規則的數據清洗、過濾、轉換等功能,簡潔直觀的圖形操作界面幫助用戶高效實現數據標準化。

4 軟件提供時間戳、觸發器、日誌解析等增量抽取方式,支持對增量數據進行各種清洗轉換處理,處理後的數據可以存入數據庫、大數據存儲或發送到Kafka消息服務器。

5 軟件提供工作流調度功能,用於調度管理相關任務的執行順序、觸發條件、異常邏輯等。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章