調研了32家銀行,總結出了銀行BI大數據平臺建設的一套模式

傳統來講,銀行定製一張報表,分析某個業務數據,主要通過業務部門提出需求,科技部門編寫程序來實現。從提出需求到科技部最終開發完報表,中間存在反覆的口徑溝通、試驗取數的過程。一張報表,從考慮排期問題,提出需求,到最終完成快則一兩週,慢則幾個月。

調研了32家銀行,總結出了銀行BI大數據平臺建設的一套模式

 

傳統數據分析平臺遇到的問題如下:

  • 數據分析流程冗長。業務人員對任何已有報表的調整需求,都要嚴重依賴IT人員重新開發併發布,流程複雜,效率低下。
  • 報表查詢變慢。隨着數據量增加,已有的業務報表查詢時間越來越長,單個報表查詢長達數分鐘。
  • 非結構化數據分析難。對系統日誌等非結構化數據的分析需求難以實現,無法快速滿足新興業務場景。
  • 原平臺擴展性差。原有數據倉庫的性能遇到嚴重瓶頸,可擴展性極低,受制於國外廠商,成本高昂。
  • 嚴重依賴IT。大量IT資源被浪費在重複性的工作中,無法釋放出來使能新技術、新平臺以支撐快速發展的新業務。

國內某頂尖銀行也曾遇到過這個問題,那他們是怎麼解決的?

  • 把明細寬表他們可理解的數據,給到業務部門,交由業務人員自助探索分析。
  • 基礎查詢類報表:來自於基層業務和日常工作,功能作用於某一項具體的工作,比如銷售業績查詢、商品庫存查詢、在途庫存查詢、採購訂單查詢等,形成固定類目的查詢報表,用戶在工作需要時,會通過查詢此類報表,來得到自己想要的數據,以支撐自己的工作。

基於以上原因,搭建一套大數據分析平臺,支持快速靈活、交互式、探索性的數據查詢和分析,讓業務人員使用簡單拖拉拽操作就能夠完成日常的數據分析工作,纔是解決問題的根本。

在搭建數據自助查詢平臺時,涉及技術架構、數據模型和BI工具選型三方面,在這裏以國內某頂尖銀行的大數據平臺爲例,和大家講一講。

調研了32家銀行,總結出了銀行BI大數據平臺建設的一套模式

 

1.技術架構:

是三方面中相對比較容易的,並不是說架構這個東西簡單,而是因爲以目前市面上的技術實現起來不難。不知題主目前是否有較爲完善的數據倉庫?如果沒有,則需要搭建一個收集業務數據,並對數據進行加工的環境,用Hadoop就可以了。

對於大體量內外部數據的高度自由的實時查詢,需要有可靠的底層數據處理平臺的支撐。從經濟成本和未來數據的非線性增長趨勢的角度分析。設計的架構時,傳統的交易系統運用關係型數據庫處理OLTP事務操作,產生的交易數據通過異構數據的批量複製方式或消息隊列的準實時方式更新至Hadoop平臺,Hadoop平臺可以進行大體量數據的分析和挖掘,並提供基於大數據的應用系統實時檢索的模式。有了數據倉庫之後,數據就可以按照數據模型進行加工。

調研了32家銀行,總結出了銀行BI大數據平臺建設的一套模式

 

2.數據模型

是三方面中最難的部分。原因是數據模型牽涉面最廣,涉及到業務結構、數據標準化、指標定義等多方面,而每一方面又很難有客觀的標準,隨着時間的變化都會不斷變化,可以說,數據模型的好壞直接決定了這個項目的成功與否。

調研了32家銀行,總結出了銀行BI大數據平臺建設的一套模式

 

持續整合核心系統、信用卡系統等幾十個業務的交易數據、賬戶數據和客戶基礎數據,建立數據標準和數據治理體系,開發風險數據集市、監管報送集市等多個內部數據集市。行外引入包括監管部門的客戶風險預警信息、環保不達標信息、公共媒體負面信息等19項外部數據源,幾千項外部數據字段,並運用網絡爬蟲技術和命名實體識別技術,抓取公共網絡媒體輿情信息,形成海量的外部數據集市。

通過在大數據平臺上整合行內與行外數據,線上與線下數據,結構化與非結構化數據,有效解決了傳統銀行普遍面臨的“信息孤島”問題。在數據整合的基礎上,利用智能化大數據分析工具進行各類數據的統計、分析、查詢和建模成爲可能。

數據模型應該建的儘可能簡單,特別要貼近業務結構,具體如何建模呢?主要有三個步驟:

(1)調研業務:包括業務結構和業務期望產出的指標口徑,調研方法就是和業務人員泡在一起,從業務目標、業務結構、支撐業務的系統、到業務報表、指標口徑都要詳細瞭解。其中最重要的當屬業務結構和指標清單(含計算邏輯)。

(2)調研數據:根據支撐業務的系統清單,挨個調研每個系統所產生數據的數據結構、更新方式、數據質量等等,如果題主有比較完善的數據倉庫,那麼這些材料都可以從數據倉庫團隊要到。

(3)建模:根據前兩步掌握的信息,按照業務結構建立數據模型,這裏不過多贅述。

3.BI平臺選擇

銀行業務系統衆多,對於數據分析平臺的維度要求就很高;數據量大,就需要大數據平臺有很強的敏捷性,能在幾秒之內對海量數據做出反應;要解決業務自助取數,自助分析,這裏需要一個自助式BI平臺。

市面上的BI工具那麼多,國外的powerBI,Tableau,國產的自助式FineBI等,我該去怎麼選擇呢?

調研了32家銀行,總結出了銀行BI大數據平臺建設的一套模式

 

這幾個處理數據的能力都非常出色,Tableau功能非常強大,但也過於強大,以至於業務用戶很難上手,不是簡單的拖拉操作可以駕馭的。

這裏我推薦FineBI,我還特地爲它做了一張圖哈哈哈哈,因爲是真的很好用,上文提到的國內某頂尖銀行也是基於FineBI去開發的,同時據我瞭解,國內大多數銀行都在使用FineBI。

順便提一下,前兩個國外產品,就我使用的過程中出了問題找不到任何解決辦法,只能靠自己摸索,費時費力,FineBI有自己的幫助文檔,絕大多數問題都可以找到答案,甚至還有技術支持隨時待命,體驗非常棒。

IT人員和業務人員共同定製好業務可理解的主題包(這裏IT人員直接將數據按業務按主題準備在FineBI的業務包中),可以將數據由業務人員自行設計報表。

通過這種方式進行統計分析,在定製數據包的基礎上由業務人員自主查詢數據,所見即所得,在數據查詢、統計的過程中分析,可以大大提高工作效率。搭建這個系統之外,他們還做了一件事,就是在各個業務條線培養具有數據分析挖掘能力的人才,解決日常工作中的數據分析難題。

以客戶在銀行辦理業務的行爲路徑,可以有這樣幾個主題,不同主題有對應的場景及其指標,使用FineBI即可做到精確分析。

搭建一個數據平臺可能是項目制的工作,在一段時間內會完成,但是搭建數據分析體系這件事卻任重而道遠。但是如果有人能在做產品的同時,將金融行業同類的數據應用經驗也分享給你,幫助你去搭建數據分析體系,那就是真正的“良藥”了。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章