數據集成市場綜述與市場定義描述(參考2007年Gartner數據集成工具魔力象限圖)——第二部分

 市場定義/描述
數據集成工具市場由廠商提供的軟件產品組成,它們能支持針對不同的數據集成場景下數據訪問和分發基礎架構的建設和實施,包括:
  • 針對商務智能(BI)和數據倉庫的數據獲取(Data Acquisition)——從生產系統中抽取數據,轉換併合並數據,並將其分發至統一數據結構下以便作爲分析用途。BI和數據倉庫保留了對數據集成工具的主要需求。
  • 創建主統一數據存儲(Integrated Master Data Store)——支持對數據的合併和關係化,展現諸如客戶、產品和員工的關鍵業務實體。主數據管理可能是基於主題的,數據集成工具能用來創建確保成功的數據合併和同步過程。
  • 數據移植/轉換(Data Migrations/Conversions)——傳統意義上基本是通過自定義代碼來完成轉換。現在,數據集成工具逐步解決數據遷移和轉換的問題。
  • 在生產系統間同步數據——與前幾個場景的概念類似,數據集成工具提供了單向或者雙向的跨應用(內部的或企業間的)確保數據庫級別一致性的能力。
  • 從不同數據存儲中創建數據聯邦視圖——數據聯邦,通常也稱爲企業信息集成(EII),做爲一種無需物理上移動數據,並且能跨不同數據源實時提供統一視圖的方法,正逐步流行起來。數據集成工具正逐步包含此類型的虛擬聯邦功能。
  • 在服務中分發數據服務(面向架構的上下文(SOA))——數據服務更確切地說是一種架構技術,而不侷限於數據集成中使用。數據服務是在SOA中擔任和實現數據集成功能的新興趨勢。數據集成工具將逐步支持多種類型的數據服務。
  • 結構化與非結構化數據的統一——本身同樣也不是特定的用例,並且與上述各部分均相關。當企業試圖分發全局信息基礎架構來解決所有數據類型時,之前就存在,但如今發展很快的趨勢是利用數據集成工具來合併包括結構化的和非結構化的數據源。
Gartner已定義了數據集成工具的廠商必須提供的幾種類型的功能,以便爲企業提供理想的價值來支持全範圍的數據集成場景:
 
連接性/適配器功能(數據源與目標的支持)
與不同數據結構類型的交互能力包括:
  • 關係型數據庫
  • 遺留的與非關係型數據庫
  • 不同文件格式
  • XML
  • 像CRM、SCM這樣的打包應用
  • 行業標準的消息格式,如電子數據交換(EDI)、全球銀行間金融通信協會(SWIFT)與健康等級7(HL7)。
  • 消息隊列,包括應用集成中間件產品(如MQ)提供的消息隊列和符合標準的產品(如JMS)。
  • 半結構化的數據,如e-mail、網站等內容存儲。
 另外,數據集成工具必須支持不同的交互模式,包括:
  • 批量獲取與分發
  • 滴定粒度的獲取與分發
  • 捕獲變化的數據(發現並抽取修改數據的能力)
  • 基於事件的獲取(基於時間或基於數據值)
 
數據分發能力
爲不同模式的消費型應用、流程和數據庫提供數據的能力,包括:
  • 在不同數據存儲間的批量數據物理移動
  • 內存中形成聯邦視圖
  • 通過封裝的面向消息的移動
  • 在同構或異構數據庫管理系統和模式間的數據複製
另外,支持不同範圍的延遲數據分發很重要:
  • 定時批量分發
  • 流/實時分發
  • 事件驅動的分發
 
數據轉換能力
針對不同複雜度的內置數據轉換操作,包括:
  • 基礎轉換,例如數據類型轉換,字符串操作和簡單計算
  • 較爲複雜的轉換,例如查找和替換操作、聚合、總計、明確匹配並管理逐漸改變的維度
  • 複雜轉換,例如針對自由格式文本和多媒體的綜合分析操作
另外,工具必須提供開發定製轉換與擴展已有轉換的工具。
 
元數據與數據建模能力
當元數據管理和數據建模越來越成爲數據集成功能的核心,對其的需求包括:
  • 從數據源、應用和其他工具中自動發現並獲取元數據
  • 數據模型的創建和維護
  • 物理到邏輯模型的映射和關係化
  • 通過圖形化屬性級別的映射定義模型間關係
  • 通過圖形化和表格格式創建並影響分析報表
  • 開放的元數據存儲,有與其他工具雙向共享元數據的功能
  • 跨不同工具實例的自動元數據同步
  • 擁有通過客戶自定義元數據屬性和關係來擴充元數據存儲的能力
  • 支持需求定義活動的項目分發定義文檔與設計原則
  • 查看並在元數據上工作的業務分析/最終客戶接口
設計和開發環境的功能
有工具支持規範與創建數據集成過程,包括:
  • 圖形化展現存儲對象,數據模型和數據流
  • 針對開發流程的工作流管理,解決了批准、提升等
  • 基於角色與基於開發人員粒度的安全性
  • 組級開發能力,例如版本管理及協作功能
  • 支持跨開發人員及項目的重用功能,並便利對冗餘的識別
  • 測試與調試
數據監管能力(數據質量、數據瀏覽與挖掘)
隨着時間的增長,需要擁有輔助理解與確保數據質量的機制,包括與以下內容的互操作性:
  • 數據瀏覽工具
  • 數據挖掘工具
  • 數據質量工具
運行時平臺功能
全面支持數據集成過程可能會部署至的硬件和操作系統,尤其是:
  • 主機環境,如IBM z/OS
  • IBM System i(AS/400)或HP Tandem
  • Unix環境
  • Wintel環境
  • Linux環境
生產與管理能力
有工具支持充分的在線維護、管理、監控使用工具實施的數據集成過程,例如:
  • 錯誤處理能力,包括預定義的和客戶自定義的
  • 監控運行時流程
  • 通過運行時統計判斷使用情況和效率,同樣需要提供應用風格的接口以便查看與評估
  • 安全控制,包括數據傳輸與管理過程
  • 保證性能和可擴展性的運行時環境
架構和集成
在不同數據集成工具集組件之間的通用性、一致性和互操作性的程度,包括:
  • 使用最小數量的產品來支持所有分發模式
  • 通用元數據(單存儲)與/或跨所有組件和數據分發模式的元數據共享能力
  • 針對所有數據分發模式的通用設計環境
  • 在不同分發模式下進行無縫透明切換的能力(最小工作量)
  • 通過經驗證的接口和強大的應用API與其他集成工具和應用戶操作的能力
  • 無論使用何種運行時架構類型都能有效支持所有類型的數據分發(集中式的服務器引擎或分佈式運行時
 
支持服務的能力
鑑於對數據服務概念認知度的不斷提高,數據集成工具必須擁有面向服務的特性並提供支持SOA的部署,例如:
  • 能支持將所有類型的運行時功能部署爲數據服務
  • 管理數據服務的發佈和測試
  • 與服務庫及註冊交互
  • 支持服務的開發與管理環境,例如能動態修改與控制工具運行時行爲的外部工具和應用
2007年Gartner數據集成工具魔力象限圖下載 
發佈了13 篇原創文章 · 獲贊 0 · 訪問量 13萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章