2021年12月7日，Gartner最新研究揭示，基礎設施和運營（I&O）領導人在未來12至18個月必須開始爲六大趨勢做好準備。其中，無論是準時化基礎設施（Just-In-Time Infrastructure）、還是數據增生（Data Proliferation）、業務敏銳度（Business Acumen），都預示着企業需要擁有更具適應性和彈性、更實時的數據管理基礎設施能力，從而支撐迅速作出更符合業務需求的決策和行動。
顯然，山東城商行聯盟已經爲該趨勢做好了充足準備。
近日，山東城商行聯盟和DataPipeline數見科技共同宣佈，山東城商行聯盟爲59家銀行構建的數據庫準實時數據採集系統正式投入使用，該系統基於DataPipeline企業級實時數據平臺打造。該項目的實施對於推動城市商業銀行實現企業數字化轉型、數據規範化和集約化管理、賦能企業經營及增強其持久核心競爭力具有重要意義。
業務需求當先，擁抱實時數據管理
山東省城市商業銀行合作聯盟有限公司經原中國銀監會批准成立，是目前全國唯一持有金融牌照的中小銀行金融科技服務公司。公司爲數十家成員行提供集核心業務系統、互聯網金融系統、外聯業務平臺、大數據服務及運營、風控支持等全方位的信息科技解決方案以及培訓、諮詢、合作創新等多元服務，引領成員行通過科技創新推動業務發展和轉型升級，是山東省大數據重點骨幹企業。公司致力於打造賦能中小銀行、開放共享的金融科技生態平臺。
在雲計算、大數據、人工智能快速發展背景下，金融行業適應客戶需要的多樣化和個性化場景不斷湧現。經過10多年的電子化發展、信息化建設，山東城商行聯盟積累了海量的數據，如何利用好這些數據成爲了聯盟應對新形勢挑戰、謀求轉型發展的重要課題。相對於大型商業銀行，降低運營成本、提升客戶體驗、提高營銷能力等轉型工作對於以山東城商行聯盟爲代表的的城市商業銀行在科技創新發展上更爲關鍵。
隨着數據應用的深入，成員行業務部門不斷提出更復雜的實時數據加工需求，新需求的加工複雜度持續升高、使用場景持續擴展、交付效率持續加快、運營質量要求持續提升。爲提升實時數據支撐能力，山東城商行聯盟開始啓動實時數據體系建設。該體系需要實現綜合業務系統CBUS、外聯業務處理平臺XBUS、ESB服務總線、電子銀行等系統的數據實時採集、同步、分發。如何打通Oracle、IBM DB2、MySQL、Kafka等多種數據管理技術，實現每日產生的數億條數據的整合，成爲聯盟亟待解決的問題。
打造金融級平臺2.0，多場景落地
企業級數據庫準實時數據採集系統架構圖
山東城商行聯盟在過往服務成員行過程中，業務端在取數時，首先需要將各數據源通過CDC模式將數據實時同步至中間庫；其次，源端數據同步至中間庫後，通過CDC實時下發至各個下游用數方。在該過程中，由於上游發版頻繁，中間庫的數據結構均需要相應變動，數據同步過程中系統維護工作量較大地影響了數據應用方的取數時效性。爲了能夠更好地服務聯盟成員行，山東城商行聯盟需要重新構建統一的數據庫準實時數據採集系統，實現通過數據流平臺近實時地向各外圍系統供數的目的，進而及時高效地支持成員行的運營、市場、銷售等實時業務需求。
山東城商行聯盟通過產品調研、可行性分析、POC驗證，選擇DataPipeline數見科技作爲合作伙伴共同完成數據庫實時數據採集系統項目的實施。該方案三大核心能力與聯盟實時數據管理體系整體策略高度契合：
01 多元異構
Oracle、IBM DB2、MySQL、Kafka等多種數據庫進行近實時的數據採集功能，並對數據源建立高效的管理功能，實現對數據源、目的地的數據連接統一管理管理，通過界面進行數據源與目的地註冊，刪除數據源，同時根據需求不斷迭代支持新的數據庫。
02實時同步
利用解析數據庫歸檔日誌的方式，實現秒級的數據變更捕獲，將解析的變更記錄傳送到數據目的地中，包括日誌中提取數據變更的增、刪、改等DML操作記錄，以及新增表、刪除表、添加字段、刪除字段等自動同步到目的地中。
03標準管理
統一的可視化管理頁面，提供平臺級別的數據管理功能，包括產品權限、數據時效管理和安全管控等方面功能，爲數據工程師、運維人員提供直觀的數據任務地圖，隨時可以洞悉數據的最新動態，極大提升運維工作效率和效益。
面向未來，山東城商行聯盟將持續利用實時數據管理技術，爲成員行客戶提供更多便捷、高效的金融服務，支撐智能化、定製化、更懂客戶的數字銀行服務。而DataPipeline也將加大對實時數據管理技術的投入力度，深化與金融業務的場景融合，助力金融行業的數字化變革升級。
