【客戶案例】白鯨開源WhaleStudio助力某證券公司打造全面數據解決方案：探析DataOps平臺革新與應用

背景

近年來隨着國際形勢的變化，信創產業成爲我國國家戰略的一部分。一直以來，一直以來，全球 ICT 產業底層標準、架構、產品、生態等要素均由國外公司或機構制定和控制，使我國 ICT 產業乃至廣大用戶面臨被卡脖子、數據泄露、信息安全等諸多風險，尤其是 2018年以來，中興、華爲等公司的遭遇成爲鮮活的實例。

爲了應對這種局面，我國將信創產業納入國家戰略，提出了“2+8”發展體系，志在擺脫對國外 ICT 產業的依賴，此即信創產業產生的背景。國家《“十四五”國家信息規劃》指出，信息化進入加快數字化發展、建設數字中國的新階段。加快數字化發展、建設數字中國，是順應新發展階段形勢變化、搶抓信息革命機遇、構築國家競爭新優勢、加快建成社會主義現代化強國的內在要求，是貫徹新發展理念、推動高質量發展的戰略舉措，是推動構建新發展格局、建設現代化經濟體系的必由之路，是培育新發展動能，激發新發展活力，彌合數字鴻溝，加快推進國家治理體系和治理能力現代化，促進人的全面發展和社會全面進步的必然選擇。

在信創戰略和國家數字化轉型的大背景下，越來越多的金融機構主動擁抱變化，突出“數據驅動業務”的重要地位。近年來，在全球經濟數字化浪潮的帶動下，我國大數據與實體經濟的融合應用不斷拓展。

某證券公司（後文簡稱“公司”）今年來深入信創、數字化轉型相關工作，積極推進信息系統的信創化改造和數字一體化實踐。當前公司正在數字化轉型的關鍵階段，隨着數字化的深入，公司內部運營和業務系統每天都會積累大量的數據，對於沉澱在系統深處的數據進行提取和整合愈發困難，然後上層應用對於數據的需求卻越來越迫切。

傳統的數據開發工具已經無法滿足現有業務部門的引用需要：

• 世界金融形式動盪，對於中國金融反洗錢要求越來越高，傳統的數據開發與調度方式無法滿足券商反洗錢打通所有業務數據流程和時效性需求，往往一次源系統的變化就會需要大量的人工參與與調整；
• 監管報送要求很高，不同頻次不同優先級的報送，傳統調度無法自動化滿足複雜場景報送要求；
• 新興數據源與湖倉一體給數據開發和調度對於開源生態和國產信創生態提出了更高的挑戰；
• 業務實時性要求更高，盈虧情況、資產賬戶信息、持倉股票信息都需要實時計算，批流一體對於大數據研發和調度都提出了更實時、更及時的挑戰；
• 數據處理結果要支撐下游業務部門，部分業務關乎市場交易、公司經營，對於系統穩定性有極高的要求。 在以上背景下，公司基於信創技術路線建設適用於券商業務場景的DataOps平臺，提供一站式的數據開發、任務編排、運維管理服務，目標提升數據需求的交付效率和流程管理水平。

概要

某證券公司證券基於白鯨開源旗下產品WhaleStudio打造DataOps平臺，爲數據需求開發交付提供統一高效、完善的解決方案。DataOps平臺採用全棧信創，從服務器芯片、操作系統到數據庫、中間件均選用國產自研產品，實現全面替換。DataOps平臺自2022年11月上線以來，提供了良好易用性、功能全面的數據開發工具集，數據共享交換、SQL腳本開發、編排調度、任務運維、數據服務的集成，有效降低數據處理鏈路的開發成本。公司信息技術部、基金子公司、期貨公司的數據開發人員基於DataOps平臺，對公司經紀管理、投資銀行、經營分析、託管等業務的數據需求進行開發、編排、調度，運維，平臺應用於公司反洗錢、實時盈虧計算、監管報送、數據精算等多個核心應用，累計編排定義工作流超過3000個，上線任務數量接近16000個,交易日平均運行工作流實例數量超過5000個，日均任務執行任務數量超過20000個。目前公司各業務線數據處理任務還在持續上線DataOps平臺，整個平臺規模還在持續增長中。

圖1 DataOps平臺模塊

項目所涉及的數據來源情況

項目涉及數據來源：數據來源於該證券公司內部各業務部門實際使用數據，涉及交易、賬號、資金流水、融資融券、基金、期貨等等涉及公司業務各方面的數據，同時來自於內部研發和業務部門需求反饋統計，部分數據根據公司監管要求進行了模糊處理。

成果所涉及的數據驅動業務能力

DataOps平臺對於券商大數據治理的業務驅動主要體現在以下幾個方面：

• 爲了滿足反欺詐、監管報送等業務需求，基於工作流的任務編排可以將數據處理的各個環節進行串聯，開發人員能夠在全局視角對數據處理鏈路進行定義、修改、運維。
• 鑑於湖倉一體、多種業務相互關聯的背景，系統提供豐富的依賴方式，能夠支持對外部、內部條件的依賴觸發。並且支持依賴影響分析，幫助開發者快速瞭解任務上下游情況。
• 鑑於監管報送有複雜的要求以及實時性要求，系統以平臺化方式納管全量的週期化任務，提供豐富的運維手段，出現故障第一時間通知運維。
• 對於該券商內部10餘個部門，提供租戶－項目－用戶的權限體系，在保證高效協作的前提下，有效控制團隊間任務和資源權限，保證符合合規要求。
• 根據券商特殊的交易市場業務，針對券商交易日曆場景設計自定義日曆和日曆函數功能，在配置大數據任務調度時間、業務日期、補數據等方面提供便利，用戶可以靈活根據業務日期的要求進行傳參。
• 面對券商監管和合規要求，工作流、任務以及所使用的資源信息都支持打包發佈，且提供相關API接口對接持續集成工具，從而支持數據任務的敏捷開發，符合DataOps發展趨勢。

綜上所述，DataOps平臺在數據任務的管理、開發、編排、運維等方面均提供了靈活豐富的解決方案，能夠有效提高數據需求的開發交付效率，同時藉助DataOps平臺也能讓整體數據需求的開發流程更加規範。

成果涉及的關鍵技術和工具平臺

某證券公司DataOps平臺以基於OushuDB爲主的數據引擎作爲底座，在此基礎上搭建數據交換平臺、離線/實時數據開發平臺、統一調度系統等子系統。DataOps平臺開箱即用，容易上手，各業務部門的數據分析師、數據開發人員可以自主使用平臺進行數據開發和配置。公司各信息系統的數據由數據交換匯聚到湖倉平臺，再通過離線數據開發平臺和實時數據開發平臺開發數據處理任務。統一調度系統將各種類型的任務編排爲工作流，以工作流承載整個數據處理流程，並納管任務執行節點，分配服務器資源，定時進行任務調用。數據在DataOps平臺中經過清洗、抽取、標記、建模、分析形成指標數據或者結果數據，然後再通過數據交換或者數據服務共享給下游。

圖2 DataOps平臺功能架構

某證券公司DataOps平臺針對證券行業增加了企業級產品功能並加強系統安全與穩定性，提供使用者開發、運行管理、配置監控幾大模塊，提供雲IDE開發調試數十種數據環境之外，也幫助用戶低代碼的拖拽或者導入開發調度與數據同步任務，支持與Git集成實現自動化的CI/CD。助力企業數據消費者、數據探索者、數據分析家、數據科學家 ，以及數據客戶/供應商提高調度效率，降低生產成本，有以下優勢：

• 簡單易用：可視化操作界面，直接使用拖拽就可以數十種數據組件的開發和調用，也可以使用Excel導入或者Python編程的方式實現批量任務生成；
• 節約人力：強大的運維和Ops工具，適配各種複雜開發和運維場景，可以結合Git實現自動化CI/CD，上線之後有多種運維工具和自動化處理機制幫助處理生產環境異常。
• 運行穩定：各子系統服務均採用的分佈式架構，部分服務節點故障不會影響整體穩定性，支持彈性擴展，從而實現性能線性增長，一個集羣可管理多雲百萬任務；
• 多生態支持：支持雲組件、大數據組件、數據組件、AI組件、Http組件等數十種常見組件，並結合開源生態不斷擴展升級中。
• 全模式DAG開發 在後疫情時代，遠程辦公與A/B分組已經成爲常態，而各種數據組件的複雜端口和各種開發使用的客戶端往往是遠程辦公的挑戰。同時，在現場辦公室來自不同團隊水平各自不同，有習慣使用代碼開發的程序員，有隻會SQL的數據分析師，DataOps平臺提供全模式DAG開發能力，可以使用IDE、低代碼、python代碼、Excel導入等方式，快速整合內部使用者和開發者的開發使用流程，最終實現內部的DataOps流程落地： 圖3 DataOps平臺DAG編排功能
• 全研發鏈路管理 在研發部署管理過程中有多種管理模式，部分採用DevOps的CICD模式，部分採用導入導出的部署模式，支持企業多種研發模式的管理，幫助企業快速適配DataOps流程，實現開發、測試、部署的整體流程提效：
  • 結合Git的CI/CD能力 DataOps平臺與Git工具集成，該解決方案將持續集成/持續部署（CI/CD）實踐與工作流結合使用。CI/CD可以加快代碼發佈速度，CI/CD不僅使開發人員能夠更快地做更多的事情，而且還使他們（和他們的運營夥伴）做得更少。利用好CI/CD有如下好處：結合使用我們自己的工具和開源工具來構建，測試和部署代碼；自動測試，在代碼審查批准後自動部署；模版化的CI/CD流程大大加快了構建和部署到多個雲中多個環境的時間；自動化測試和持續集成使部署更安全，更優化；CI/CD大大減少了構建和部署應用的時間，並消除了構建環境的問題；CI/CD管道自動化大大提高了團隊的交付速度。 圖4 DataOps平臺持續集成流程
  • 高性能全鏈路保障 得益於去中心化的多Master多Worker機制，DataOps平臺的調度模塊獲得了極高的穩定性和性能，目前在用戶生產環境已經有數百萬任務在線，秒級任務高大10萬併發都可以順利運行的實際案例。因爲調度模塊系統採用Master與Worker分離的模式，在保證高性能高穩定的的同時，也可以對調用的資源進行控制和分配，同時利用多租戶結合類似Yarn、K8s等底層資源池，可以實現任務之間的並行度控制、資源控制、用戶資源限制等諸多功能。目前經過測試調度模塊比同類型調度產品Airflow性能要快15倍，同時也支持了更好的穩定性。 圖5 DataOps平臺調度模塊分佈式部署架構圖
• 高效多維的調度監控運維 在生產環境當中，經常會遇到一些不可控的意外情況出現，例如某些系統數據晚到、源系統變更或者出現一些特殊髒數據，導致部分任務和數據處理工作流異常。而大部分企業，管理層和監管層的日報對於上報的時間的要求是極爲嚴格，如果沒有強大的工具幫助，此時就需要大量的運維工作來處理異常，而且極容易產生誤操作。DataOps平臺實現了一套強大的容錯機制和工作流運行管理，讓運維人員事半功倍的處理各種複雜場景。

  • 數據處理工作流、任務的血緣追溯 圖6 DataOps平臺數據開發任務血緣分析

  • 強大的容錯機制 在企業數據運行過程當中，經常由於其它系統訪問或者大任務處理造成數據源的響應時間過長，從而導致客戶端訪問失敗的情況DataOps平臺有豐富的容錯機制，讓用戶設置等待時間、重試次數時長等，最大限度的讓系統自動從錯誤機制中恢復，而無需人工參與。

• 豐富的時間管理 對於時間的變化經常會遇到各種複雜場景：例如日曆不是自然日曆，有多種業務日曆；切日時間不是正常的0:00分，而是特殊時間點；腳本當中處理的數據日期與調度時間不同等。如果沒有強大的時間管理功能，企業非常難以推廣到更多的部門使用。
  • 多種日曆管理 日曆管理支持按業務需求定製化，比如可以自定義跳過週末不執行，僅工作日執行。也可以將已有的日曆導入系統中，或者通過提供的日曆模版編寫自定義日曆。切日時間調整 用戶可以通過修改日切時間，更改日切T的日期邏輯判斷。如下圖，以跑批日曆爲例子，日切時間爲16：00，以20220323舉例，16之前，通過圖中T-1=20220322，可推斷T爲20220323，16點之後T爲20220324。
  • 數據日期（牌）管理 創建牌（數據日期、業務日期），從而實現調度時間和數據業務日期不同的情況，DataOps平臺支持前後自定義翻牌；支持自定義腳本直接生成業務日期數值。操作上，在DAG畫布中通過創建翻牌任務，關聯牌，這裏便是強大的業務翻牌任務的使用。

項目成果效益

直接效益方面：

• 在國際金融動盪的大環境下，加強反洗錢流程自動化程度和檢測效率：過去由於反洗錢涉及到多個信創、大數據平臺的計算，缺乏合適的自動化平臺化管理，很多指標依賴於大數據集羣，運維難度高。很多操作需要人工審覈或者修改代碼，缺少可視化、自動化的平臺和方法實現反洗錢業務流程效率無人看守和自動處理。使用本項目的自動化開發和調度平臺之後，人員運維投入減少50%，同時提升業務修改實現效率50%，可以打通整個反洗錢相關數據的獲取和服務，更好的爲反洗錢業務提供數據支撐。
• 提高監管報送自動化比率，減少人員手動運維20%工作量：監管報送含有多張複雜報表（有一些特殊複雜的需求，每月第一、第二、第六交易日需要取上個月最後一個交易日，每週第一、最後一個交易日跑上週數據和當天數據），過去使用之前幾乎每一個不同交易日都需要定製化數據處理任務，這樣設計比較複雜，開發週期長且容易出錯。新業務需求過來需要非常複雜的開發工作，而使用新平臺提高了整體新業務對於監管報送的工作量，整體運維和開發工作量減少20%。
• 實現公司批流一體計算，讓經紀業務實現實時盈虧分析：使用本套平臺和可以利用批流一體對場外基金的盈虧數據做出實時展示，過去大多用離線數據批處理，對於增量數據處理用微批（半小時），這樣數據的時效性和準確性不夠，現在用離線+全量+實時增量數據（日間），這樣大幅提升了盈虧分析數據展示的時效性和準確性。可以對盈虧情況、資產賬戶信息，持倉股票信息等實現實時分析，讓經紀業務客戶滿意度大幅提高。

不可替代性：

智能化的大數據開發和調度系統系統在大規模數據處理和分析中具有不可替代性，其自動化調度、分佈式架構和可視化設計能夠提高反洗錢、監管報送、經紀業務等業務的工作效率、減少人工干預、優化資源利用、提高數據處理速度等，在競品中有着獨特的優勢。其針對券商應用場景所設計的自定義調度日曆、日曆計算函數等功能，有效覆蓋複雜的調度傳參應用場景，具有鮮明的獨創性。

潛在效益：

目前DataOps平臺在多項證券業務上體現出顯著效果，公司在業務拓展、提高業務處理效率方面得到明顯提升，而平臺未來在更多的業務部門使用和適配，可以全面提高數據驅動效率，減少人工參與，在數字化轉型、數據湖倉一體化建設中都將發揮關鍵作用，是長期業務發展的前提和基礎。通過DataOps平臺上任務的高效運行，數據才能源源不斷地被彙集、分層、加工、輸出，爲企業持續提供數據服務，將數據價值轉化爲業務價值。

項目亮點及創新性

支持反洗錢，跨多系統依賴的自動化調度

反洗錢涉及到多個信創、大數據平臺的計算，缺乏合適的自動化平臺化管理，很多指標依賴多個大數據組件，運維難度高。很多操作需要人工審覈或者修改代碼，缺少可視化、自動化的平臺和方法實現反洗錢業務流程效率無人看守和自動處理。

反洗錢任務調度中一個重要問題就是如何解決依賴觸發，工作流中的任務往往具有上下游的依賴關係，很多任務必須在某種條件達成之後才能夠運行。在數據處理鏈路中，可能涉及多個系統、多種業務的複雜依賴情況，針對此類問題，DataOps提供了多種方式的依賴管理方式。 首先是反洗錢工作流內部的依賴管理，這種情況使用畫布中的連線即可確定任務的前置任務。

項目內部的工作流之間的依賴，DataOps平臺的編排調度模塊提供了子工作流的節點類型，可以直接將項目內部的某個工作流作爲另一個工作流的任務節點，由此形成依賴。

對於對於反洗錢還涉及到多個業務系統數據的跨工作流的依賴，調度模塊引入Dependent節點。此節點支持跨項目對整體工作流或者單個任務進行依賴。在工作流中可以引入此類節點，配置依賴的項目和任務，只有上游都運行成功，下游纔可以繼續運行。 圖7 依賴配置圖 在反洗錢還有一類場景是任務依賴外部條件，如需要數據庫某個標誌或者是某個文件的生成。DataOps平臺支持事件觸發功能，事件觸發分爲文件、數據庫和Kafka三種方式。

• 文件事件觸發方式會檢查用戶設置的文件路徑的文件是否存在，發現文件存在可以觸發後續執行流程。
• 數據庫事件支持用戶自定義SQL，一旦發現SQL查詢有結果即可觸發後續流程。
• Kafka消息事件，用戶可以配置Kafka數據源，檢查指定Topic的數據是否到來，從而觸發後續執行。 大數據開發與調度平臺在依賴管理方面爲用戶提供了多層次的選擇，能夠滿足各種依賴的場景，讓人員運維投入減少50%，同時提升業務修改實現效率50%，可以打通整個反洗錢相關數據的獲取和服務，更好的爲反洗錢業務提供數據支撐。

多種交易日曆實現建工自動化報送

監管報送含有多張複雜報表（有一些特殊複雜的需求，每月第一、第二、第六交易日需要取上個月最後一個交易日，每週第一、最後一個交易日跑上週數據和當天數據），過去使用之前幾乎每一個不同交易日都需要定製化數據處理任務，這樣設計比較複雜，開發週期長且容易出錯。而監管報送的數據日期與交易所開市時間密切相關，公司絕大多數的業務數據並非按照自然日進行處理的。

交易日曆中遇到節假日、週六周天的情況，都需要跳過處理。然而在各種業務數據的完成時間同樣有很大差異，例如基金申購、贖回、確認等，都可能涉及T-1、T-2等方式。因此調度時間和業務時間絕大多數情況無法同步，不能簡單獲取當前日期進行數據處理。

下圖列舉了A股市場數據處理中需要使用的日曆、調度時間，可以看出整個邏輯相當複雜。如果涉及香港、美股甚至其他市場的業務數據，那麼調度時間的複雜性就會成倍增加。 圖8 券商調度週期示意 DataOps平臺針對證券行業的調度需求，設計了日曆、牌、日期函數等工具，有效解決此類問題，提供靈活多樣的定時方式。首先引入自定義日曆功能，用戶可以點選或者導入excel配置日曆。日曆的作用有如下三點：

配置定時的時候引用，用於控制調度日期。

配置牌值使用，用於控制業務日期。

補數據時候，業務日期範圍會與日曆取交集，來確定補數據的業務日期。 圖9 日曆配置 牌主要作用是爲工作流確定業務日期，具體實現是關聯某個日曆，然後按照日曆的日期，在規定時間翻牌，從而達到業務日期的更新的目的。 圖10 牌的配置 結合日曆和牌可以靈活的設置調度時間和數據業務時間。例如：需要在每個交易日之前完成T-1交易日數據處理的場景，就可以使用跑批日日曆來配置調度時間，使用T-1交易日的牌來確定業務時間。

統一大數據開發和調度平臺還支持了日曆函數的相關功能，能夠基於任何一個自定義日曆和基準時間來計算日期，比如計算業務日期所屬月、當月第一個交易日、每年最後一個交易日等。利用日曆函數可以在工作流任務中靈活的進行日期參數的動態傳遞。從而實現新業務開發對於監管報送的自動化處理，整體運維和開發工作量減少20%。

批流一體計算，讓經紀業務實現實時盈虧分析

盈虧分析作爲某證券公司蜻蜓點金App一個重要的功能，主要是爲用戶提供當前賬戶資產、持倉、盈虧收益等信息，幫助用戶根據當前持倉情況及時作出投資決策調整。因此，該功能不僅要向用戶提供準確的盈虧收益數據，也需要對數據時效性有一定要求。

過去受限於技術壁壘主要採用離線批處理的模式，凌晨會對全量用戶基金淨值數據進行離線加工，然後針對日間增量補充的數據則使用定時離線微批的方式，從而在開市期間爲用戶提供盈虧收益數據，這種傳統的處理模式不僅處理流程複雜，而且時效性不足，存在很大的缺陷。因此有必要藉助新的技術和工具進行改造。

DataOps平臺作爲某證券公司全新打造的研發運維一體化平臺，基於DataOps平臺，採用流批一體的處理模式，盈虧分析場景整體處理方式改造爲離線批處理完成對夜間全量數據的計算加工，基於夜間全量計算結果針對日間的增量數據採用實時計算方式，實時計算能高效的完成增量數據的處理，極大的縮短了數據延遲，爲用戶提供新鮮的基金持倉盈虧收益數據，幫助用戶及時作出投資決策，讓經紀業務客戶滿意度大幅提高。

權限設計與全鏈路數據任務編排

大數據開發調度系統中在操作層面有項目、工作流、任務的開發、運行、上線等操作，在菜單層面有定時、日誌、告警等配置，平臺涉及多種調度資源如日曆、牌、定時、數據源等。所以在權限體系設計過程中，涉及多種資源和菜單的權限管理，需要依託於項目來設計權限體系。DataOps平臺採用租戶－項目－角色的權限體系，具體描述如下：

（1）租戶下有若干項目，用戶需要加入租戶，才能加入租戶下項目；

（2）租戶作爲資源管理單位，租戶中的日曆、牌、數據源等在租戶下的項目中對用戶可見。

（3）在項目中分爲管理員、數據開發、數據運維、訪客4種權限，分別對應不同的菜單和操作權限。

（4）分爲平臺級（不可修改的共享資源）和租戶級。平臺級資源由超管配置，對於所有用戶可見、可使用，比如日曆、牌、定時等。租戶級的資源，如數據源、環境、worker分組、租戶內特殊定時、日曆、牌等，用戶自定義資源默認在租戶內項目下可見、可以使用。

綜上所述，在權限體系方面DataOps平臺的理念爲通過租戶管理資源權限，通過項目角色管理菜單和操作權限。此種設計理念對於其他存在菜單、資源、操作權限控制需要的系統，都具有參考意義。

同時，DataOps平臺爲了實現數據處理任務的編排，需要將數據處理全流程進行串聯，就不可避免要把數據中臺各個系統的任務進行串聯。針對這個場景，DataOps平臺支持了自定義任務類型的接入方式。

DataOps平臺採用API接口方式，抽象出來標準任務流程的接口：

• 項目任務查詢接口：查詢當前項目下目標系統的任務列表，用於爲節點選擇對應的任務。
• 任務執行接口：根據任務信息，調用啓動目標系統任務執行。
• 任務狀態獲取接口：根據任務標識獲取任務狀態，用於DataOps平臺上任務狀態展示。
• 任務實時日誌接口：根據任務標識獲取任務日誌信息，用於查看任務執行日誌。
• 任務停止接口獲取：通過任務標識終止任務執行。 目標系統的任務支持以上接口，就可以對接在DataOps調度模塊上進行統一的任務編排。另外，DataOps的調度模塊支持傳遞動態參數給目標系統任務，能夠達到根據傳遞的數據日期進行數據處理的目的，從而可以運行歷史數據。 這種任務通過API抽象接入的方式，對於許多有系統交互、任務執行的系統具有借鑑意義。

跨環境的發佈方案

DataOps作爲數據開發過程中的重要工具，必然涉及開發環境到生產環境的遷移。針對此問題，DataOps平臺的各子系統均提供了發佈打包功能，支持任務粒度進行跨環境發佈、導入。具體的實現流程如下：

（1）用戶選擇項目、工作流進行打包，每個工作流任務信息被轉化爲json格式，按照項目工作流目錄進行存放，生產發佈包。

（2）用戶在測試開發環境打出發佈包，在生產環境進行導入操作，系統會檢查相關調度資源如執行用戶、定時、日曆、任務組等資源是否存在，權限是否滿足。校驗完畢之後，就會將相關工作流導入到對應項目中。

在此生產發佈過程功能的開發和使用過程中，總結了以下經驗：

1. 任務相關相關配置、資源數據都需要使用唯一標識，且保持生產測試環境保持一致。
2. 用戶權限在生產和測試環境需要保持一致。

全棧信創部署架構

DataOps平臺採用全棧信創架構，具體技術選型如下： 信創底座：在服務器和操作系統的選擇上採用了全面國產信創替代的方案，其中：服務器統一使用了鯤鵬ARM v8處理器，這種處理器具有出色的計算性能和節能優勢，能夠有效滿足海量數據處理的需求。操作系統則統一使用了麒麟V10系統，該系統通過安全加固和優化，保障了系統的安全可靠。

大數據底座：大數據存儲系統選擇國產極速雲數據庫OushuDB，這套系統既擁有強大的擴展性，具備良好的容錯能力，能夠穩定管理千萬級的數據，此外，OushuDB作爲新一代分佈式湖倉一體數據底座，可以提高查詢響應的速度，非常適合券商千萬級的交互式分析和報表生成等需求。

數據集成工具：實時採集工具從Attunity替換爲了國產SeaTunnel。SeaTunnel具有配置簡單、採集低延遲等特點。離線採集工具從Infomatica PWC替換爲國產DataX。DataX支持多種異構數據源採集，可靠、高效、易於遷移。

數據處理工具：採用了國內領先的一站式大數據處理平臺數棧，提供離線腳本開發和實時腳本開發能力。

總體來看，本方案全面採用國產核心系統和工具，不僅考慮了安全可控的需要，也兼顧了性能和擴展性。從服務器到操作系統，從數據存儲到數據採集，實現了核心技術自主可控，有效保障了券商數據的安全性。

聯繫方式 公司網站: www.whaleops.com 聯繫郵箱: [email protected]

下滑探索更多WhaleStudio的優勢，讓我們幫助你構建一個高效、安全的大數據解決方案。🚀

本文由 白鯨開源科技 提供發佈支持！