中國聯通大數據應用

中國聯通大數據應用

隨着web4.0時代的到來,數據將成爲企業的最大資產。運營商所含有的數據是不可限量的,同時其帶來的價值也是無法估量的。充分利用運營商的數據以及互聯網大數據技術,能夠爲企業帶來意想不到的效果。

1.應用

    對內:網絡優化、異常檢測、大數據報表、用戶軌跡、協同警方監控及判案、智慧城市

對外:用戶畫像、客戶細分、精準營銷、追蹤用戶、產品推薦

1.1對內

1).網絡優化:

方案:通過分析用戶行爲日誌,統計哪一時間段用戶流量高峯,進行早期預測,合理分配流量,從而使資源利用最大化。

2).異常檢測(用戶信用、機器節點監測/預測):分類、預測

方案:通過對用戶的信用數據以及用戶的消費日誌,使用樸素貝葉斯或邏輯迴歸模型進行分類計算,從而預測出不良用戶,此時,我們可以對這類低信譽用戶加以防範或採取限購措施。對機器進行異常檢測,通過統計分析機器運行日誌,使用邏輯迴歸模型或SVM模型進行二值分類計算(正常、異常),從而提前預測故障機器,不必等機器真正宕機後進行修復操作。

3).大數據報表:日誌統計

方案:對流量日誌及用戶的定位日誌進行統計分析,按季度產出用戶流量報告,類似滴滴出行報告、高德地圖城市交通分析/交通擁堵報告。同時對用戶的行爲日誌、公司的業績日誌及相關日誌進行關聯分析生成大數據報表,充分利用大數據報表可令決策者更清晰瞭解公司走向,及時制定相應決策,令決策者更有效地管理公司。

4).用戶移動軌跡:位置定位、定位信息

方案:統計分析用戶行爲數據,識別出其常住地,以及通過點位數據將用戶的行爲軌跡打印出來。例如,通過用戶在哪兒經常打電話,可以識別出其常駐地,判斷家、工作單位、以及其他常駐地。例如,通過分析用戶的地理位置,構建模型,使用邏輯迴歸模型,預測用戶五一期間去迪士尼旅遊的概率,及用戶出行的概率。

5).協同警方監控及判案:

方案:利用通話記錄及移動規矩定位罪犯常駐點,同時構建模型預測罪犯活動地點。

6).智慧城市:日誌分析、流量監控

方案:利用用戶移動軌跡,可以識別人口流量走勢,制定相應流量疏導及交通方案。

1.2對外

1).用戶畫像:統計

方案:收集數據,ETL數據預處理,模型計算,給用戶打標籤,以及對標籤進行組合;利用用戶行爲數據計算用戶畫像。將用戶所有的標籤綜合起來,勾勒出該用戶的整體特徵與輪廓。可充分構建用戶的全量數據,並將數據打通,形成拓撲關聯。

例如:用戶畫像數據主要包括五大部分:基礎數據、終端數據、消費數據、活躍數據、單一用戶畫像的數據。

注:

1、 用戶畫像要建立在真實的數據之上;
2、 當有多個用戶畫像的時候,需要考慮用戶畫像的優先級,通常建議不能爲超過三個以上的persona 設計產品,這樣容易產生需求衝突;

3、 用戶畫像是處在不斷修正中的。

2).客戶細分:聚類

方案:利用運營商客戶消費數據及其訂單數據,使用機器學習中的聚類算法,可將用戶數據聚類爲多個簇,而每一簇代表一類用戶,我們變可以有針對性的對這類用戶投放相應的產品。例如:我們可將用戶細分爲A、B、C,分別代表VIP用戶、普通用戶、遊客用戶,因此我們可以有針對性地對他們投放個性化產品,令資源最優分配。

3).精準營銷、個性化營銷:統計+聚類+分析

方案:通過對檢索日誌進行統計分析,瞭解用戶的潛在需求,實現針對用戶需求的廣告進行精準投放。利用之前做好的用戶畫像實現精準營銷。

4).追蹤用戶:預測、召回

通過邏輯迴歸模型對用戶進行預測,識別哪些用戶是忠實用戶,哪些用戶將要離開,對將要離開的用戶制定策略進行召回,同時對忠實用戶給予優惠以防止競爭者將用戶拉走,並充分利用忠實用戶,以該用戶爲中心點帶動其周邊人羣使用產品,此時需藉助相似度計算方法,計算出其周邊用戶並給予相應引導令其加入。

5).產品推薦、個性化營銷:推薦算法、關聯算法/規則

利用用戶行爲數據計算出用戶畫像,結合關聯規則及推薦算法(這裏主要使用協同過濾算法,因爲主要涉及用戶及其周邊人羣)對用戶進行個性化推薦;聯合常駐位置信息,有針對性服務推薦,在不同位置給予不同的信息推送,此時需藉助客戶細分及用戶移動軌跡。

當前的推薦算法大都基於數據挖掘技術,通過對大量的用戶行爲數據進行分析及挖掘來發現相關的用戶行爲模式。

2.系統架構


系統的整體架構如下圖1所示。


圖1系統架構

實現步驟:

1.數據採集:採集多維數據抽取數據結構,使用Hadoop構建全量數據集;

2.數據預處理:基於採集回來的多維度數據,採用ETL方法對其各類數據進行結構化處理及加載,構建數據特徵;

3.數據存儲對於ETL處理後的標準化結構數據,建立數據存儲管理子系統,歸集到底層數據倉庫(Hive),這一步很關鍵,基於數據倉庫,對其內部數據分解成基礎的同類數據集市;

4.數據建模:基於歸集分解的不同數據集市,利用各類算法對數據集進行數據建模以及相應的算法設計;

5.模型計算:使用構建好的模型對數據預處理後的特徵數據進行計算;

6.數據展現:最後根據建立的各類數據模型及算法,結合前端不同渠道不同業務特徵,根據渠道觸點自動匹配後端模型自動展現用戶個性化產品和服務。



發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章