面對高頻業務需求,如何提升實時數據處理能力?

             

 

在當前的數字化環境下,金融機構面臨的高頻業務需求已成常態,並呈現持續擴大的趨勢,這種情況下,對業務連續性及用戶體驗的保障便是金融IT運維面臨的最大挑戰。

 

支付交易量與日俱增,銀行業承載巨大的運維壓力

國內用戶早已習慣了線上交易,交易量也與日俱增。央行發佈的2018年支付體系運行總體情況顯示,2018年,銀行業金融機構共處理電子支付業務1751.92億筆。其中,網上支付業務570.13億筆,同比增長17.36%。移動支付業務605.31億筆,同比分別增長61.19%。這一現狀,給銀行業的IT運維帶來了巨大壓力,而一年幾度的購物節“大考”,更是一大挑戰,電商平臺的單日交易額不斷的刷新,銀行業交易系統的秒併發量也在不斷的突破上限。

 

納稅人及稅收管理的互聯網應用需求持續擴大

隨着“互聯網+稅務”行動計劃的深化,稅務信息系統的內部建設與外部互聯程度齊頭並進。隨着外部互聯的加深,各級稅務部門通過在線的方式發佈信息、共享文件、提供各類型業務辦理服務。由此,公民與稅務部門的交互需求成幾何倍增長。

 

證券行業:集中、高頻交易帶來的難題

隨着2019年“慢牛”的傳聞及科創板的落地,沉寂股民的甦醒及新股民的入場,證券行業呈現繁榮趨勢。據統計,全國目前個人投資者近1.5億人,並且證券行業具有交易時間集中,交易高頻的特性,併發交易量遠高於其他行業。同時,股民對於用戶體驗要求甚高,無法及時的獲取行情的刷新、完成交易是不可接受的。面對高要求的投資者及行業監管,IT運維如何應對?

於此,許多金融機構會選擇APM產品來實現業務可視化,對系統故障的告警與定位,而這一切的基礎,即底層的數據平臺具備對大數據的實時處理能力。在我們與客戶技術交流的過程中,平臺對數據的處理能力也是客戶非常關心的。在2018年,華青融天大數據融合平臺引入了Kafka,給平臺的數據處理能力帶來了極大的提升。

 

提升高吞吐量、低延遲的數據處理能力

隨着業務保障要求的提高,過去對數據先收集、再儲存、再分析的方式已經不適用了。試想一下,一個“可用性”的故障,在問題發生幾分鐘後纔得到告警,對於一秒數萬甚至數十萬交易量的客戶來說,意味着什麼。

而Kafka可謂爲實時處理數據而生,不同於MapReduce、Hive和Pig這類數據存儲和查詢工具,Kafka對數據的處理是連續的,它可以處理幾十萬條消息,延遲最低只有幾毫秒,這一高吞吐量、低延遲的特性十分適合於構建應用性能管理及安全運營中心平臺,以此爲基礎實現的數據分析及告警才具備價值。

 

對數據變化的跟蹤

精準、及時的告警,是金融客戶的剛性需求,也是華青融天產品人的目標,爲此,在告警的規則及配置優化方面做了許多提升,而爲了實現“高質量”的告警,及時感知到數據的變化是十分重要的。kafka流式計算即可實現這一點,數據的輸入是持續的,計算結果也是持續的輸出,即可實現對數據變化的跟蹤,並在將數據保存到最終目的地之前對數據採取行動。而相比使用Spark Streaming和Apache Storm這類流式處理系統,內嵌的kafka流失處理系統,直接作爲類庫提供給開發者調用,整個應用的運行方式主要由開發者控制,方便使用和調試,同時擴展性及對於資源的消耗方面更具優勢。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章