中信建投在金融電於化期刊發佈 DataOps 實踐

文 ‖ 中信建投證券股份有限公司 馬麗霞 高宇航 李可 許哲 李海偉

file

近年來,數據的分析和應用對各行各工業的業務模式和競爭形態進行重塑,而積極應對挑戰和順應時代變化是各個市場參與者的必選項。作爲資本市場數字化轉型的領航者,中信建投證券重視數字化轉型機遇,陸續啓動了各業務領域的數字化轉型建設。

DataOps 作爲近年來數據管理領域興起的工程文化和實踐,借用了 DevOps 敏捷交付的基礎框架,揉合了 DAMA 數據治理理念,強調在如此激烈競爭的商業環境下,最大限度地快速匹配業務部門的需求和資源開展交付,加速業務價值的試驗與試錯,持續實現數據價值。

爲高質量服務公司數字化轉型,中信建投證券於 2021 年正式啓動 DataOps 能力建設,結合公司現狀打造了 DataOps 研發管理創新體系,梳理優化需求、設計、開發、測試、投產的全過程及相關支撐工具的整合,逐步建立了標準化、全線上流水線,支持數據持續集成和交付,爲數據供給提供效率和質量的雙重保障,支撐公司數字化轉型。

基於DataOps的券商數據平臺與應用服務體系建設

1. 面向“匯聚共享”的數據底座

中信建投證券建設了信創化的雲原生湖倉一體數據底座。該平臺是將數據湖的靈活性和數倉的易用性、規範性、高性能結合起來的融合架構,是公司打造的新代數據底座,滿足了數據高效匯聚、數據算力靈活擴展、資源隔離的需求。

file

通過建設數據底座,打破了公司數據“煙囪”壁壘,將公司內外部的數據匯聚在一起,並參考證券行業SDOM數據模型結合公司數據標準規範和實際情況,對數據進行重新清洗、整理、組織和聯繫,逐步形成公司級的高質量、可信的、標準化的產品、客戶、機構等共性數據,爲經營分析、風控等數據消費提供數據供給。

同時探索建立指標標籤管理體系,在共性數據的基礎上,數據底座還構建了指標標籤工廠。一方面推動指標標籤的定義歸集、計算(結果)歸集和服務歸集 ;另一方面通過解耦指標標籤需求與數據開發,通過提供統一語義層,下游數據消費者可以方便地將業務語言轉換爲技術語言,快速實現業務服務。

2. 建設“服務化”的數據中臺

搭建企業級數據能力框架,彌合數據供需鴻溝,用戶不需關注數據架構和技術只需關注業務實現,快速響應數據需求數據中臺服務化分爲數據技術服務化和數據服務化。

數據技術服務化通過搭建數據基礎能力平臺,爲用戶提供開箱即用的數據開發能力。爲此,數據中臺構建了數據開發中心和數據基礎服務中心。

數據開發中心:構建統一、標準化的一站式數據開發協作平臺,完成採集、建模、加工、測試、調度、發佈、監控功能的整合和集成,降低數據開發門檻,提升開發運維效率。中信建投聯合白鯨開源基於WhaleScheduler產品基礎上打造了全棧信創化的數據開發平臺,實現統一數據開發、任務編排、任務調度,更好地完成了離線批處理、實時流處理等任務,有效峯低了數據加工處理成本,真正實現精益敏捷的數據運營。

數據基礎服務中心:數據中臺搭建了AI、BI、圖計算、OLAP、實時計算等基礎服務集羣,封裝了對應的數據服務能力,滿足各種業務場景對計算能力的要求,幫助下游系統快速構建數據應用。

“數據服務化” 體現爲封裝數據底座數據應用的數據接口,提供服務化的數據調用介入方式。爲此,數據中臺構建了數據服務中心和數據資產中心。

數據服務中心:在數據安全合規的前提下,將數據以API、文件等形式開放供業務流程調用、下游系統交換數據使用。

數據資產中心:建設數據門戶,提供企業級數據資源訪問入口和數據工作展示服務窗口。將數據資產目錄建設爲公司級的數據資產查詢和操作系統,解決數據“是什麼,在哪裏”的問題,具備向數據服務引流的能力,支持數據應用。同時整合公司各項數據能力,打造數據工具箱,面向不同用戶提供不同的數據能力服務,着力解決數據“怎麼用”的問題。

3. 打造“敏捷高效”的數據產品交付中心

數據需求方面,通過“兩歸口”實現需求統籌管理。一方面,發揮SI制度優勢由業務部門SI歸口本部門數據需求,從源頭上規範數據需求:另一方面,組織數據專家形成評審委員會,對重點項目重點需求開展評審,藉助專家經驗不斷提升交付質量。

數據研發方面,通過一站式數據開發協作平臺與公司DevOps持續交付體系結合起來,數據開發協作平臺統一對接Gitlab進行代碼託管,將各種數據任務類型構建數據研發流水線,提高數據研發效率和交付能力。同時,數據研發過程引入數據模型管控,通過對接數據模型管理工具,實現數據模型設計標準化。

CI/CD方面,數據流水線通過持續集成插件自動化進行代碼規範掃描、業務規則測試、測試報告生成,滿足數據測試質量要求版本後,運維人員可以一鍵確認和發佈,極大節省了測試和運維工作量,提升了版本發佈效率和成功率,實現了數據產交付的標準化規範化。數據研發流水線可以實現開發、測試和部署的多重保障降本增效,提升大規模數據需求交付能力實現數據價值快速輸出。

4.面向“自助消費”的數據服務體系

傳統的企業數據需求很大一部分是通過內部數據查詢單的模式觸發數據分析工作,由於開發人員工作排期及需求理解等問題,分析需求需要多輪迭代才能完成導致數據分析的時效性低。針對這一問題中信建投證券探索建立自主消費的數據服務體系。

從工具層面,基於數據中臺打通了數據探源、整合及分析展現的整個鏈路構建自助分析體系,通過可視化低代碼開發代替專業工具代碼開發將以往的開發門檻大大降低。通過數據自助分析,業務用戶可以更快速地進行數據探查和分析模型迭代,極大提高了數據分析的時效性。

從制度文化層面,持續開展數據分析師培訓,幫助更多人建立數據思維。從人力資源層面,以數據中臺爲依託,舉辦數據分析師培訓及作品評比比賽,通過作品評選挖掘發現潛在種子用戶、種子部門逐步建立企業數據分析師團隊。

5.構建“智能”數據管理與運營平臺

(1)價值驅動的數據交付。倡導由數據價值驅動的數據開發運營,評估數據產品的業務價值和經濟價值。企業數字化的目標是要建立長期目標和規劃的,以關鍵項目爲抓手,集中最優勢的資源,攻堅克難,解決業務發展中最迫切的數智化要求。

(2)開發治理一體化。遵從源頭管控的原則,積極開展數據治理並將相關動作儘量前置,並與數據的研發工藝有機結合.在數據產生階段即開展數據治理。通過數據開發和治理的統一規劃管理,推動數據匯聚和標準化,強化大數據融合分析。

(3)運營管理一體化。數據產品的強大生命力,一方面依賴於高質量的數據數據研發;另一方面通過收集和挖搖用戶需求,以及實際的使用效果和反饋,不斷優化迭代數據產品,將其建設爲業務級甚至是公司級的重量級數據產品,實現數據運營與研發管理的協同。

未來展望

DataOps能力體系的建設是一個不斷打磨、精益求精的過程,中信建投證券將在不斷探索和總結中持續前行,爲公司數字化轉型提供更多動力和支持。

一是加強業務賦能。圍繞關鍵數據應用和場景、數據組織,藉助DataOps開展持續集成交付,提高數據倉庫、數據中臺等平臺類工程建設的ROI,實現數據組織協作效能最大化,幫助企業實現數字化轉型。

二是聚焦內功、不斷進化。目前DataOps理念和方法論還在不斷演進中因此,需積極對標最佳實踐,完善我司DataOps體系,同時也會積極參與相關標準的制定和推廣工作。

file

文章來源於金融電子化第355期期刊

本文由 白鯨開源科技 提供發佈支持!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章