近年來，隨着大數據、雲計算、區塊鏈、人工智能等新技術的快速發展，這些新技術與金融業務深度融合，釋放出了金融創新活力和應用潛能，這大大推動了我國金融業轉型升級，助力金融更好地服務實體經濟，有效促進了金融業整體發展。在這一發展過程中，又以大數據技術發展最爲成熟、應用最爲廣泛。從發展特點和趨勢來看，“金融雲”快速建設落地奠定了金融大數據的應用基礎，金融數據與其他跨領域數據的融合應用不斷強化，人工智能正在成爲金融大數據應用的新方向，金融行業數據的整合、共享和開放正在成爲趨勢，給金融行業帶來了新的發展機遇和巨大的發展動力。
大數據涉及的行業過於廣泛，除金融外，還包括政治、教育、傳媒、醫學、商業、工業、農業、互聯網等多個方面。根據國際知名諮詢公司麥肯錫的報告顯示：在大數據應用綜合價值潛力方面，信息技術、金融保險、政府及批發貿易四大行業潛力最高高。具體到行業內每家公司的數據量來看，信息、金融保險、計算機及電子設備、公用事業四類的數據量最大。可以看出，無論是投資規模和應用潛力，信息行業（互聯網和電信）和金融行業都是大數據應用的重點行業。
大數據的特點可歸納爲“4V”。
- 數據量(Volume)， 海量性也許是與大數據最相關的特徵。
- 多樣性(Variety)，大數據既包括以事務爲代表的傳統結構化數據，還包括以網頁爲代表的半結構化數據和以視頻、語音信息爲代表的非結構化數據。
- 數據價值(Value)，大數據的體量巨大，但數據中的價值密度卻很低。比如幾個小時甚至幾天的監控視頻中，有價值的線索或許只有幾秒鐘。
- 動態性(Velocity)，大數據要求能夠快速處理數據，時效性強，要進行實時或準實時的處理。
金融行業一直較爲重視大數據技術的發展。相比常規商業分析手段，大數據可以使業務決策具有前瞻性， 讓企業戰略的制定過程更加理性化，實現生產資源優化分配，依據市場變化迅速調整業務策略，提高用戶體驗以及資金週轉率，降低庫存積壓的風險，從而獲取更高的價值和利潤。
2. 大數據技術在金融行業中的典型應用
大數據技術在金融行業中有着廣泛的應用， 下面將介紹大數據技術在銀行、證券、保險等金融細分領域中的應用。
2.1 銀行大數據應用
國內不少銀行已經開始嘗試通過大數據來驅動業務運營，如中信銀行信用卡中心使用大數據技術實現了實時營銷，光大銀行建立了社交網絡信息數據庫，招商銀行則利用大數據發展小微貸款。總的來看銀行大數據應用可以分爲四大方面：
2.1.1 客戶畫像
客戶畫像應用主要分爲個人客戶畫像和企業客戶畫像。個人客戶畫像包括人口統計學特徵、消費能力數據、興趣數據、風險偏好等；企業客戶畫像包括企業的生產、流通、運營、財務、銷售和客戶數據、相關產業鏈上下游等數據。值得注意的是，銀行擁有的客戶信息並不全面，基於銀行自身擁有的數據有時候難以得出理想的結果甚至可能得出錯誤的結論。比如，如果某位信用卡客戶月均刷卡8次，平均每次刷卡金額800元，平均每年打4次客服電話，從未有過投訴，按照傳統的數據分析，該客戶是一位滿意度較高流失風險較低的客戶。但如果看到該客戶的微博，得到的真實情況是：工資卡和信用卡不在同一家銀行，還款不方便，好幾次打客服電話沒接通，客戶多次在微博上抱怨，該客戶流失風險較高。所以銀行不僅僅要考慮銀行自身業務所採集到的數據，更應考慮整合外部更多的數據，以擴展對客戶的瞭解。包括：
（1）客戶在社交媒體上的行爲數據（如光大銀行建立了社交網絡信息數據庫）。通過打通銀行內部數據和外部社會化的數據可以獲得更爲完整的客戶拼圖，從而進行更爲精準的營銷和管理；
（2）客戶在電商網站的交易數據，如建設銀行則將自己的電子商務平臺和信貸業務結合起來，阿里金融爲阿里巴巴用戶提供無抵押貸款，用戶只需要憑藉過去的信用即可；
（3）企業客戶的產業鏈上下游數據。如果銀行掌握了企業所在的產業鏈上下游的數據，可以更好掌握企業的外部環境發展情況，從而可以預測企業未來的狀況；
（4）其他有利於擴展銀行對客戶興趣愛好的數據，如網絡廣告界目前正在興起的DMP數據平臺的互聯網用戶行爲數據。
2.1.2 精準營銷
在客戶畫像的基礎上銀行可以有效的開展精準營銷，包括：
（1）實時營銷。實時營銷是根據客戶的實時狀態來進行營銷，比如客戶當時的所在地、客戶最近一次消費等信息來有針對地進行營銷（某客戶採用信用卡採購孕婦用品，可以通過建模推測懷孕的概率並推薦孕婦類喜歡的業務）；或者將改變生活狀態的事件（換工作、改變婚姻狀況、置居等）視爲營銷機會；
（2）交叉營銷。即不同業務或產品的交叉推薦，如招商銀行可以根據客戶交易記錄分析，有效地識別小微企業客戶，然後用遠程銀行來實施交叉銷售；
（3）個性化推薦。銀行可以根據客戶的喜歡進行服務或者銀行產品的個性化推薦，如根據客戶的年齡、資產規模、理財偏好等，對客戶羣進行精準定位，分析出其潛在金融服務需求，進而有針對性的營銷推廣；
（4）客戶生命週期管理。客戶生命週期管理包括新客戶獲取、客戶防流失和客戶贏回等。如招商銀行通過構建客戶流失預警模型，對流失率等級前20%的客戶發售高收益理財產品予以挽留，使得金卡和金葵花卡客戶流失率分別降低了15個和7個百分點。
2.1.3 風險管理與風險控制
在風險管理和控制方面包括中小企業貸款風險評估和欺詐交易識別等手段。
（1）中小企業貸款風險評估。銀行可通過企業的產、流通、銷售、財務等相關信息結合大數據挖掘方法進行貸款風險分析，量化企業的信用額度，更有效的開展中小企業貸款。
（2）實時欺詐交易識別和反洗錢分析。銀行可以利用持卡人基本信息、卡基本信息、交易歷史、客戶歷史行爲模式、正在發生行爲模式（如轉賬）等，結合智能規則引擎（如從一個不經常出現的國家爲一個特有用戶轉賬或從一個不熟悉的位置進行在線交易）進行實時的交易反欺詐分析。如IBM金融犯罪管理解決方案幫助銀行利用大數據有效地預防與管理金融犯罪，摩根大通銀行則利用大數據技術追蹤盜取客戶賬號或侵入自動櫃員機(ATM)系統的罪犯。
2.1.4 運營優化
（1）市場和渠道分析優化。通過大數據，銀行可以監控不同市場推廣渠道尤其是網絡渠道推廣的質量，從而進行合作渠道的調整和優化。同時，也可以分析哪些渠道更適合推廣哪類銀行產品或者服務，從而進行渠道推廣策略的優化。
（2）產品和服務優化：銀行可以將客戶行爲轉化爲信息流，並從中分析客戶的個性特徵和風險偏好，更深層次地理解客戶的習慣，智能化分析和預測客戶需求，從而進行產品創新和服務優化。如興業銀行目前對大數據進行初步分析，通過對還款數據挖掘比較區分優質客戶，根據客戶還款數額的差別，提供差異化的金融產品和服務方式。
（3）輿情分析：銀行可以通過爬蟲技術，抓取社區、論壇和微博上關於銀行以及銀行產品和服務的相關信息，並通過自然語言處理技術進行正負面判斷，尤其是及時掌握銀行以及銀行產品和服務的負面信息，及時發現和處理問題；對於正面信息，可以加以總結並繼續強化。同時，銀行也可以抓取同行業的銀行正負面信息，及時瞭解同行做的好的方面，以作爲自身業務優化的借鑑。
2.2 保險行業大數據應用
過去，由於保險行業的代理人的特點，所以在傳統的個人代理渠道，代理人的素質及人際關係網是業務開拓的最爲關鍵因素，而大數據在在新客戶開發和維繫中的作用就沒那麼突出。但隨着互聯網、移動互聯網以及大數據的發展，網絡營銷、移動營銷和個性化的電話銷售的作用將會日趨顯現，越來越多的保險公司注意到大數據在保險行業中的作用。總的來說，保險行業的大數據應用可以分爲三大方面：客戶細分及精細化營銷、欺詐行爲分析和精細化運營。
2.2.1 客戶細分和精細化營銷
（1）客戶細分和差異化服務。風險偏好是確定保險需求的關鍵。風險喜好者、風險中立者和風險厭惡者對於保險需求有不同的態度。一般來講，風險厭惡者有更大的保險需求。在客戶細分的時候，除了風險偏好數據外，要結合客戶職業、愛好、習慣、家庭結構、消費方式偏好數據，利用機器學習算法來對客戶進行分類，並針對分類後的客戶提供不同的產品和服務策略。
（2）潛在客戶挖掘及流失用戶預測。保險公司可通過大數據整合客戶線上和線下的相關行爲，通過數據挖掘手段對潛在客戶進行分類，細化銷售重點。通過大數據進行挖掘，綜合考慮客戶的信息、險種信息、既往出險情況、銷售人員信息等，篩選出影響客戶退保或續期的關鍵因素，並通過這些因素和建立的模型，對客戶的退保概率或續期概率進行估計，找出高風險流失客戶，及時預警，制定挽留策略，提高保單續保率。
（3）客戶關聯銷售。保險公司可以關聯規則找出最佳險種銷售組合、利用時序規則找出顧客生命週期中購買保險的時間順序，從而把握保戶提高保額的時機、建立既有保戶再銷售清單與規則，從而促進保單的銷售。除了這些做法以外，藉助大數據，保險業可以直接鎖定客戶需求。以淘寶運費退貨險爲例。據統計，淘寶用戶運費險索賠率在50%以上，該產品對保險公司帶來的利潤只有5%左右，但是有很多保險公司都有意願去提供這種保險。因爲客戶購買運費險後保險公司就可以獲得該客戶的個人基本信息，包括手機號和銀行賬戶信息等，並能夠了解該客戶購買的產品信息，從而實現精準推送。假設該客戶購買並退貨的是嬰兒奶粉，我們就可以估計該客戶家裏有小孩，可以向其推薦關於兒童疾病險、教育險等利潤率更高的產品。
（4）客戶精準營銷。在網絡營銷領域，保險公司可以通過收集互聯網用戶的各類數據，如地域分佈等屬性數據，搜索關鍵詞等即時數據，購物行爲、瀏覽行爲等行爲數據，以及興趣愛好、人脈關係等社交數據，可以在廣告推送中實現地域定向、需求定向、偏好定向、關係定向等定向方式，實現精準營銷。
2.2.2 欺詐行爲分析
基於企業內外部交易和歷史數據，實時或準實時預測和分析欺詐等非法行爲，包括醫療保險欺詐與濫用分析以及車險欺詐分析等。
（1）醫療保險欺詐與濫用分析。醫療保險欺詐與濫用通常可分爲兩種，一是非法騙取保險金，即保險欺詐；另一類則是在保額限度內重複就醫、浮報理賠金額等，即醫療保險濫用。保險公司能夠利用過去數據，尋找影響保險欺詐最爲顯著的因素及這些因素的取值區間，建立預測模型，並通過自動化計分功能，快速將理賠案件依照濫用欺詐可能性進行分類處理。
（2）車險欺詐分析。保險公司夠利用過去的欺詐事件建立預測模型，將理賠申請分級處理，可以很大程度上解決車險欺詐問題，包括車險理賠申請欺詐偵測、業務員及修車廠勾結欺詐偵測等。
2.2.3 精細化運營
（1）產品優化，保單個性化。過去在沒有精細化的數據分析和挖掘的情況下，保險公司把很多人都放在同一風險水平之上，客戶的保單並沒有完全解決客戶的各種風險問題。但是，保險公司可以通過自有數據以及客戶在社交網絡的數據，解決現有的風險控制問題，爲客戶制定個性化的保單，獲得更準確以及更高利潤率的保單模型，給每一位顧客提供個性化的解決方案。
（2）運營分析。基於企業內外部運營、管理和交互數據分析，藉助大數據臺，全方位統計和預測企業經營和管理績效。基於保險保單和客戶交互數據進行建模，藉助大數據平臺快速分析和預測再次發生或者新的市場風險、操作風險等。
（3）代理人（保險銷售人員）甄選。根據代理人員（保險銷售人員）業績數據、性別、年齡、入司前工作年限、其它保險公司經驗和代理人人員思維性向測試等，找出銷售業績相對最好的銷售人員的特徵，優選高潛力銷售人員。
2.3 證券行業大數據應用
大數據時代，大多數券商們已意識到大數據的重要性，券商對於大數據的研究與應用正在處於起步階段，相對於銀行和保險業，證券行業的大數據應用起步相對較晚。目前國內外證券行業的大數據應用大致有以下三個方向：
2.3.1 股價預測
2011年5月英國對衝基金Derwent Capital Markets建立了規模爲4000 萬美金的對衝基金，該基金是首家基於社交網絡的對衝基金，該基金通過分析Twitter 的數據內容來感知市場情緒，從而指導進行投資。利用 Twitter 的對衝基金 Derwent Capital Markets 在首月的交易中確實盈利了，其以1.85%的收益率，讓平均數只有0.76%的其他對衝基金相形見絀。
麻省理工學院的學者，根據情緒詞將twitter內容標定爲正面或負面情緒。結果發現，無論是如“希望”的正面情緒，或是“害怕”、“擔心”的負面情緒，其佔總twitter內容數的比例，都預示着道瓊斯指數、標準普爾500指數、納斯達克指數的下跌；美國佩斯大學的一位博士則採用了另外一種思路，他追蹤了星巴克、可口可樂和耐克三家公司在社交媒體上的受歡迎程度，同時比較它們的股價。他們發現，Facebook上的粉絲數、Twitter 上的聽衆數和 Youtude 上的觀看人數都和股價密切相關。另外，品牌的受歡迎程度，還能預測股價在10天、30天之後的上漲情況。但是，Twitter 情緒指標，仍然不可能預測出會衝擊金融市場的突發事件。例如，在2008年10月13號，美國聯邦儲備委員會突然啓動一項銀行紓困計劃，令道瓊斯指數反彈，而3天前的Twitter相關情緒指數毫無徵兆。而且，研究者自己也意識到，Twitter 用戶與股市投資者並不完全重合，這樣的樣本代表性有待商榷，但仍無法阻止投資者對於新興的社交網絡傾注更多的熱情。
2.3.2 客戶關係管理
（1）客戶細分。通過分析客戶的賬戶狀態（類型、生命週期、投資時間）、賬戶價值（資產峯值、資產均值、交易量、佣金貢獻和成本等）、交易習慣（週轉率、市場關注度、倉位、平均持股市值、平均持股時間、單筆交易均值和日均成交量等）、投資偏好（偏好品種、下單渠道和是否申購）以及投資收益（本期相對和絕對收益、今年相對和絕對收益和投資能力等），來進行客戶聚類和細分，從而發現客戶交易模式類型，找出最有價值和盈利潛力的客戶羣, 以及他們最需要的服務, 更好地配置資源和政策, 改進服務,抓住最有價值的客戶。
（2）流失客戶預測。券商可根據客戶歷史交易行爲和流失情況來建模從而預測客戶流失的概率。如2012年海通證券自主開發的“給予數據挖掘算法的證券客戶行爲特徵分析技術”主要應用在客戶深度畫像以及基於畫像的用戶流失概率預測。通過對海通100多萬樣本客戶、半年交易記錄的海量信息分析，建立了客戶分類、客戶偏好、客戶流失概率的模型。該項技術最大初衷是希望通過客戶行爲的量化分析，來測算客戶將來可能流失的概率。
2.3.3 智能投資顧問
智能投資顧問業務提供線上投資顧問服務，其基於客戶的風險偏好、交易行爲等個性化數據，依靠大數據量化模型，爲客戶提供低門檻、低費率的個性化財富管理方案。
2.3.4 投資景氣指數
2012年，國泰君安推出了“個人投資者投資景氣指數”（簡稱3I指數），通過一個獨特的視角傳遞個人投資者對市場的預期、當期的風險偏好等信息。國泰君安研究所對海量個人投資者樣本進行持續性跟蹤監測，對賬本投資收益率、持倉率、資金流動情況等一系列指標進行統計、加權彙總後得到的綜合性投資景氣指數。
3I指數通過對海量個人投資者真實投資交易信息的深入挖掘分析，瞭解交易個人投資者交易行爲的變化、投資信心的狀態與發展趨勢、對市場的預期以及當前的風險偏好等信息。在樣本選擇上，選擇資金100萬元以下、投資年限5年以上的中小投資者，樣本規模高達10萬，覆蓋全國不同地區，所以，這個指數較爲有代表性。在參數方面，主要根據中小投資者持倉率的高低、是否追加資金、是否盈利這幾個指標，來看投資者對市場是樂觀還是悲觀。“3I指數”每月發佈一次，以100爲中間值，100—120屬於正常區間，120以上表示趨熱，100以下則是趨冷。從實驗數據看，從2007年至今，“3I指數”的漲跌波動與上證指數走勢擬合度相當高。
3. 金融大數據應用面臨的挑戰及對策
大數據技術爲金融行業帶來了裂變式的創新活力，其應用潛力有目共睹，但在數據應用管理、業務場景融合、標準統一、頂層設計等方面存在的瓶頸也有待突破。
數據資產管理水平仍待提高。主要體現在數據質量不高、獲取方式單一、數據系統分散等方面。
應用技術和業務探索仍需突破。主要體現在金融機構原有的數據系統架構相對複雜，涉及的系統平臺和供應商較多，實現大數據應用的技術改造難度很大。同時，金融行業的大數據分析應用模型仍處於起步階段，成熟案例和解決方案仍相對較少，需要投入大量的時間和成本進行調研和試錯。系統誤判率相對較高。
行業標準和安全規範仍待完善。金融大數據缺乏統一的存儲管理標準和互通共享平臺，對個人隱私的保護上還未形成可信的安全機制。
頂層設計和扶持政策還需強化。體現在金融機構間的數據壁壘較爲明顯，各自爲戰問題突出，缺乏有效的整合協同。同時，行業應用缺乏整體性規劃，分散、臨時、應激等特點突出，信息價值開發仍有較大潛力。
總的來看，大數據在金融行業的應用起步比互聯網行業稍晚，其應用深度和廣度還有很大的擴展空間。金融行業的大數據應用依然有很多的問題需要克服，同時需要國家出臺促進金融大數據發展的產業規劃和扶持政策，也需要行業分階段推動金融數據開放、共享和統一平臺建設，強化行業標準和安全規範。只有這樣，大數據技術才能在金融行業中穩步應用發展，不斷推動金融行業的發展提升。