一個數據分析系統的技術架構設計淺析
作者：成曉旭
版權保留，嚴禁轉載
本文是曾經參與的一個大型項目的解決方案的技術架構設計的簡要總結與闡釋，僅僅分析該系統的衆多的內部構件之間的邏輯關係，僅供參考。
數據分析系統的主要功能是從衆多外部系統中，採集相關的業務數據，集中存儲到系統的數據庫中。系統內部對所有的原始數據通過一系列處理轉換之後，存儲到數據倉庫的基礎庫中；然後，通過業務需要進行一系列的數據轉換到相應的數據集市，供其他上層數據應用組件進行專題分析。
因此，從數據被採集、轉換、存儲、分析、應用的角度對系統內部技術構件進行抽象，將系統內部分爲採集層、處理層、應用層、配置層4個邏輯層次。數據分析系統的技術體系架構如下圖：
在採集層，主要應用接口適配器、網絡文件採集及轉換器、ESB總線等技術。接口適配器技術，用於適配各專業系統的數據採集接口，通過接口適配器來屏蔽各專業接口方式的差異性；網絡文件採集及轉換器，用於從各專業系統的採集文件數據，主要針對特定格式的各類網絡數據文件，負責對數據格式進行格式化、規範化等預處理；ESB總線對標準的WebService/JMS接口方式的數據進行採集。
在處理層，主要應用數據持久化、J2EE、BI等技術。關係數據庫技術，用於存儲系統採集、處理、計算等業務數據，存儲系統各類運行參數配置信息，以及其他的運行過程信息；文件服務器，爲各類文件型數據提供數據存儲和訪問服務；J2EE技術，是系統中所有B/S邏輯構件、應用程序、Web服務的容器，爲各種B/S組件提供運行環境，並對其生命週期進行管控；BI的元數據管理爲各類動態統計分析報表的數據聚合、多維分析、數據加載、數據生產、數據項、計算規則、展示方式等提供配置管理。
在應用層，用於人機交互的主要應用BI、Web等技術。Web技術，提供系統的B/S界面的應用；BI技術，爲各類動態統計分析結果提供報表、圖形、儀表盤等豐富的展示方式；用於系統交互的ESB總線技術，以數據總線的方式發佈WebService調用、或者下發JMS數據，通過統一的數據發佈系統爲外部系統提供服務數據共享服務。
在配置層，主要應用ETL可視化可配置平臺、規則引擎、工作流引擎等技術。ETL可視化配置技術，用於提供可視化、可配置的ETL數據抽取、轉換、加載的處理，主要針對數據庫數據、FTP標準文件格式的數據或者經過網絡文件採集及轉換器預處理過的中間數據；規則引擎部分爲採集成各類適配及採集器提供配置數據的集中管理，包括提供接口文件的採集目錄、文件名規則、數據項約定以及ETL數據抽取規則等的配置管理；工作流引擎，提供從數據採集接口配置、採集數據項、ETL參數配置、指標關聯映射、BI參數關聯映射等全過程的流程化配置嚮導。
【聲明】
由於本文闡釋的技術方案，源自在線生產系統，恕不提供完整而詳細的技術方案，更不會提供源代碼。