大數據?人工智能?揭祕銀行數據倉庫發展趨勢

整個系列的文章從銀行數據倉庫架構,ETL,模型,數據管理以及幾大方面應用介紹了數據倉庫,可以讓大家對銀行數據倉庫有個概要的瞭解。

但在各子系統設計,技術方面沒有太深入介紹,後續也會陸續補充。作爲這個系列文章的最後一節,簡單談談對銀行數據倉庫發展的一些想法。

數據倉庫作爲銀行數據中心,在這個大數據時代也發揮了重要的作用,那隨着銀行業業務系統架構的演變,特別是目前目前銀行業務系統都在向採用微服務的分佈式架構的轉變,提高系統的吞吐量和運行效率,適應互聯網高併發量和高用戶數的特點。隨之而來的可能有以下變化:

1.數據的分散化:

之前一個貸款系統包含貸前申請,貸中核額,貸後管理的並且還有許多實時查詢,在微服務架構下,一個貸款系統可能會分成貸前,核額,貸後,前端(H5,app,pc)等業務系統,還會調用短信,簽章,客戶信息系統等多個關聯繫統。那一個業務流程的數據會分散到各個子系統中。

2.數據量增長:

銀行通過多種自有互聯網渠道(手機、公衆號),以及通過與互聯網平臺合作、開放API等將在互聯網扮演中後臺的角色,即用戶可能感受不到銀行的存在,但是在使用銀行的服務,如目前許多銀行將自己的二、三類賬戶的能力提供給互聯網公司,客戶在互聯網開立的賬戶其實是在其它銀行開立的。因此銀行的賬戶數以及客戶量會快速增長,隨之就是交易量的爆發。

3.數據應用的多樣化:

隨着大數據及AI技術的發展、數據應用將會大幅增長。同時實時應用和數據統計需求將會更多的出現,如風控、營銷、投資決策、反欺詐等模型服務,如業務量的實時監控和實時預警等,目前FLINK、SPARK STREAM等實時數據處理平臺發展也迅速。

大數據軟件Finereport做出的雙11大屏

數據的分散化和應用的多樣化必然會帶來數據需求的井噴,數據量的增長對技術平臺的擴展性和性能要求將會更高,數據倉庫也需要逐步進行架構和功能的演變,以適應業務發展需求:

1.技術平臺方面將會出現更高性能和更大存儲的技術平臺

開源的HADOOP平臺出現,降低了數據倉庫以及大數據平臺的技術門檻和成本,但在易用性和效率方面商用的版本或者大廠(google、Facebook、阿里、騰訊、華爲等)的內部優化版本更有優勢,後續雙方也會互相借鑑,特別是一些大廠對開源社區的貢獻將會促使更強大的數據處理技術平臺出現。

2.數據倉庫多集羣化

隨着數據量增加以及需求應用的增加,爲降低耦合性以及提高靈活性,數據倉庫不同功能會在分散到多個集羣且不用集羣技術平臺可能也不同,如基礎數據區,各數據集市,實時應用,歷史數據,非結構化數據等可能都會單獨建立集羣,因此集羣之間的數據快速交換也會要求更高。後續可能從底層存儲複製或共享等方面有新的技術的出現。

3.數據倉庫技能通用化

另外隨着數據分散化以及應用的增多,爲提高效率,會有多個團隊在數據倉庫上共同開發,數據倉庫將會是一個基礎平臺和基本技能,因此需要做好資源隔離,同時需要將數據倉庫的功能組件化,工具標準化,在全行或全公司的推廣中減少學習成本,提高開發效率。

4.AI平臺和數據倉庫技術平臺融合

AI後續將會逐步變爲一個通用功能,hadoop生態目前也有支持機器學習的組件,如mahout、sparklib,但和專業的AI平臺還是有算法、功能和性能的差距,AI平臺也支持以hadoop作爲數據處理平臺,因此後續兩者也會逐步融合,出現更智能的數據處理技術平臺。

未來其實並不遙遠,科技的世界裏真的可以是一日千里。作爲數據倉庫開發、產品經理或者管理者,在做好平時工作的同時需要持續學習新的技術,以便在新的數據需求出現時有技術儲備來提供高效的數據服務。

也需要熟悉數據內容以及在數據背後業務流程,發掘數據後面業務或產品的優化點。以終爲始,促進業務和產品的發展。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章