構建通用數據中臺架構

​​企業數字化轉型

 

數字化轉型(Digital transformation),建立在數字化轉換(Digitization)、數字化升級(Digitalization)基礎上, 又進一步觸及公司核心業務,以新建一種商業模式爲目標的高層次轉型。數字化轉型是開發數字化技術及支持能力以新建一個富有活力的數字化商業模式。企業數字化轉型是未來市場發展趨勢。

 

在IT時代走向DT時代這樣的大背景環境下,數據爆發式增長,海量數據資源等待挖掘、盤活價值,企業戰略思想上必須認知到數據資源的價值,將數據資源轉變成爲數據資產,加以整合應用,實現數據資產的可變現,才能具備市場競爭優勢。但是,在傳統IT建設架構下,企業內部各部門之間的系統相互獨立,呈煙囪林立狀,系統產生的數據多源、異構……無法實現互聯互通,無法快速滿足企業實時業務的交流、協同和合作(3C:Communication, Coordination and Corporation)。這是企業數字化轉型的痛點,也是難點。

 

 

 

數據中臺出現

 

只有可管理、可調用、可變現的數據資源才能成爲數據資產,才能幫助企業實時統籌、科學決策。數據中臺的出現,解決了信息系統之間的互聯互通、多源多維度的數據集成問題,是企業數字化轉型的利刃,能夠完美實現數字經濟的數字資源資產化、數據資產服務化、數據服務價值化。這是數據中臺的價值。

 

 

構建數據中臺架構

 

數據中臺的目標是通過中臺提供的工具、方法和運行機制,把異構資源的數據變爲一種服務能力,讓數據更方便地被業務所反覆使用。靈長科技定義的中臺是“承擔多源異構資源系統的交互樞紐,聚合和治理資源的多維數據,統一抽象封裝成服務形式,服務於多維用戶,實現業務價值”。

 

下圖爲中颱總體架構圖,中臺是在底層各類設備,數據和服務系統資源與上層的應用之間一整套承上啓下的體系。中臺屏蔽掉底層不同系統的技術複雜性,降低對應用開發對底層系統技術人才的需求,讓底層資源的使用成本更低。通過中臺的抽象統一,匯聚集成、開發模塊建立企業統一的資源池,通過資源管理與治理、開放服務把資源變爲數據服務能力,服務企業業務。中臺的安全和運營體系保障了中臺可以長期穩定、持續運轉。

 

 

那麼,一個通用的數字協同服務中臺架構應該如何構建?主要分爲以下五個部分。

 

1. 資源的連接和匯聚

 

大量的異構資源包含像物聯網、傳感器等各類設備,不同的業務系統,數據庫,文件日誌,各類網絡服務。這類設備和服務都會產生大量的數據。這些數據分散在不同的網絡環境和存儲中臺中,不整合難以利用,很難產生業務價值。資源的連接和匯聚是數字協同服務中臺必須提供的核心工具,連接不同的異構系統資源需要處理大量的通訊協議,整合不同的數據格式。由於前端業務團隊不可能,也不應該配備大量對底層資源瞭解的技術人員,中臺就起到了承上啓下的作用。通過統一抽象的機制,將這類資源整合起來。形成中臺管理的統一資源。

 

2. 數據的統一和調理

 

中臺本身幾乎不產生數據,所有數據來自於各類資源:設備(物聯網,傳感器),業務系統、數據庫,日誌、文件、網絡服務等。中臺把各種網絡化分佈、異構的數據源匯聚起來。可以根據業務需求採用不同策略:既可以集中存儲,爲後續的加工建模做準備;也可以動態抓取,支持實時業務流程。數據匯聚方式一般有數據庫同步、埋點、網絡爬蟲、消息隊列,接口調用等;從匯聚的時效性來分,有離線批量匯聚和實時採集。資源以不同的數據形式匯聚到中臺的數據入口,中臺的第一個工作就是要轉換並統一數據格式,只有這樣纔能有效地匯聚數據資源,進一步發揮協同效應。

 

僅僅數據格式統一還不夠,業務很難使用按照原始狀態堆砌在一起的數據。數據調理是把雜亂無序的異構數據轉化成對業務有價值的形式,提供給業務使用。通過中臺提供的一系列數據轉換和調理工具和模塊,開發分析人員可以高效地進行數據調理。中臺會提供離線、實時、算法開發工具以及任務的管理、代碼發佈、運維、監控、告警等一些列開發集成工具。

 

3. 資源管理體系

 

有了資源的連接匯聚,數據的統一和調理,中臺已經具備統一整合資源和管理的基本能力,可以建立統一的資源體系。這些資源是中臺的血肉,業務層可以通過數據來開發、管理、使用資源。現代企業業務對數據的依賴越來越高,數據資源的一致性和可複用性至關重要。垂直煙囪式的服務建設方式由於複用性差註定不能長久存在。中臺正是要打破煙囪,通過對資源的統一建設管理,爲多方業務團隊提供高效的,標準的,可複用的服務。實踐中,統一建模,統一數倉、統一標籤數據等方法被廣泛使用。中臺的資源管理是方便應用方更好地瞭解和使用這些資源:把資源展現給應用層用戶(統一的資源目錄),管理資源的使用權限(權限管理),決定誰能使用(用戶管理),資源的生命週期管理(升級和回滾)等。總之,中臺以一種更直觀的方式展現擁有的資源,直接爲業務服務。

 

4. 數據服務體系

 

前面通過資源的匯聚,數據的統一和調理,數據資源的管理和展現,中臺已經完善地整理出企業的資源。數據服務體系就是把資源產生的數據變爲一種服務能力,通過數據服務讓數據參與到業務,激活整個中臺爲業務服務。數據服務體系是中臺存在的價值所在。企業的數據服務是千變萬化的,中臺產品可以提供一些標準服務,但是很難滿足企業的服務訴求,大部分服務還是需要通過中臺的能力快速定製。因此,中臺除了提供豐富的標準服務模塊外,還應該提供快速的服務定製化開發能力,以及對服務的管控、鑑權、計量等功能。更進一步,任何業務都在不斷的變化發展,因此已經開發的服務也會不斷的需要做出相應變化。中臺需要對這類服務的變化提供高效的開發變更工具,例如代碼開發,文檔變更,測試調試等自動化工具,來響應不斷變化的業務需求。

 

5. 安全運營體系

 

通過一系列的系統步驟:數據匯聚、數據開發、數據資產、資產管理、數據服務,我們已經完成了整個中臺的搭建和建設,在業務中發揮價值。安全運營體系是中臺得以健康穩定、持續運轉的基礎,中臺需要有一個全方位的安全管控體系和功能,例如,全時段運營監控下的限流和熔斷機制;對數據服務調用的監控和日誌;對數據調用和傳輸的安全機制等。安全運營體系保障中臺正常地持續運營,不能發揮其應用價值。

 

(完)

 

未經同意,本文禁止轉載或摘編。

 

靈長科技自主開發的智能連接和數據集成中臺,是基於API的新一代面向服務框架(SOA)技術,將系統連接、數據集成與融合、業務邏輯全部通過鬆耦合集成於一體的開發平臺。

可點擊官方網站

靈長科技​www.apemesh.com 進一步瞭解更多詳細信息。

 

如您對小編分享的文章感興趣,您可以在文章下方點贊、分享或收藏;還可以通過搜索關注知乎專欄《微服務應用開發和API管理》,或者掃描下方二維碼關注靈長科技官方公衆號,獲取最新更新動態。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章