相信大家都知道工業4.0理念，即利用物聯網技術將生產中的供應、製造、銷售信息數據化、智慧化，但推行效果並不是很理想，其中很大一部分原因是企業忽略了自身內部信息系統仍有冗餘的現象而盲目跟風，過程中由於缺乏建設條件或前期信息化技術儲備不足，形成跳躍式斷層，最終導致信息化改革中斷或失敗。

這種結果讓我不禁聯想到現在很火的大數據理念，大數據一詞一度被炒的沸沸揚揚，利用大數據創造企業價值和提高競爭力等各種偏實際或偏浮誇的理念和解決方案一瞬間讓大數據變得炙手可熱，無論是企業還是軟件廠商都一擁而上，人人都想從大數據風潮中分一杯羹或得一份利，但是大數據並不是適合所有企業。即使要做大數據分析，也要有一套正確的落地方案，今天筆者將根據自身對大數據的理解與大家分享討論下大數據到底適合應用在哪些領域及大數據的落地方案。

在此之前先來分析下，大數據理念推出後帶來了哪些影響。

1.大數據爲企業帶來的變化

1.1 軟件廠商

無論是做BI商業智能的廠商還是做報表分析統計業務的廠商，只要與數據沾邊的，全部推出大數據解決方案，所謂的大數據分析產品，只不過是把原有的產品換個標籤罷了。除此之外，應用軟件提供商、軟件集成商也紛紛將開源的大數據存儲、分析產品與自身產品相結合，推出大數據產品及解決方案，至於產品或方案的效果就不得而知了。

1.2 企業客戶

在大數據被熱炒的浪潮下，特別是在一些行業/企業中成功實施並帶來一定效果後，許多管理高層開始規劃建設大數據分析平臺，一部分原因是企業希望通過大數據平臺帶來利益並對其實現效果寄予厚望，另一部分原因是企業迫於同行業競爭壓力，但嘗試之後發現，真正建設成功或運行起來的企業少之又少。原因很簡單，因爲他們完全忽略了內部沒有整合的信息化系統；重複、錯誤、不一致的數據；割裂的業務信息和流程，直到建設後才發現大數據爲企業信息化帶來了新的複雜性，且從中獲益所需要付出的前提與努力比預計中的多得多。

目前看來，在大數據建設上，企業需要保持冷靜，在真正瞭解大數據及建設大數據的前提之後在考慮也不遲。

2.大數據定義、特點、用途

2.1 定義

大數據（Big data）或稱巨量資料，指的是所涉及的資料量規模巨大到無法通過目前主流軟件工具，在合理時間內達到擷取、管理、處理、並整理成爲幫助企業經營決策更積極目的的資訊。

對於“大數據” 研究機構Gartner給出了這樣的定義。“大數據”是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的信息資產。

2.2 特點

體量巨大(Volume)，伴隨着各種隨身設備、物聯網、雲計算、雲存儲等技術的發展，人和物的所有軌跡都可以被記錄，數據因此被大量生產出來。
類型繁多(Variety)，數據格式變得多樣，涵蓋了文本、音頻、圖片、視頻、模擬信號等不同類型；數據來源也變得多樣，不僅產生於組織內部運作的各個環節，也來自於組織外部。
價值性(Value)，數據的價值真實性是獲得真知的最重要因素，因爲處理大數據的實質就是爲企業提供決策支持，如果不能保證數據質量，數據分析只成空談。
速度快(Velocity)，包括兩方面，一是數據產生快，二是數據處理快，在數據處理方面，要在秒級時間範圍內分析出結果，超出這個時間，數據就失去了價值。

2.3 用途

精準營銷：爲企業營銷投放渠道、營銷內容、反饋等提供有效的數據支撐。
業務升級：通過數據反映產品、業務帶來的影響和客戶的反饋，爲業務迭代、流程優化提供數據支撐。
趨勢預測：爲企業預測新的市場趨勢，使企業可以衡量新產品是否會帶來新市場，從而決定是否批量生產。
風險預警：通過數據分析進行風險預測，及時提供警告，便於企業進行相關調整與決斷。
智能推送：分析用戶行爲，刻畫人物畫像，爲用戶提供智能所需消息推送。

3.大數據常見的應用場景

雖然當下不是所有企業都適用於大數據技術，但不可否認大數據技術在一些行業中是有成效的，如：政府機構、金融、互聯網、醫療行業等。

大數據的來源就是基於互聯網的數據，而互聯網行業對於數據的利用具有先天優勢，在數據的利用與分析上更具有準確性和權威性；金融行業屬於一種特殊的行業，自有資本，獨立覈算，涵蓋銀行業、證券業、保險業，在可分析資源上佔有絕對的優勢；政府機構對於大數據平臺建設的推進更有力度，更容易實施進行，同時在資金方面更加充足。

3.1 互聯網應用場景

1.電商

2.社交

如今互聯網更加強調的是“社交”和“互動”，社交大數據成爲更多商家促進營銷的手段，用戶可以隨時隨地在社交網絡上分享資訊、美食、影片、旅遊地、生活趣事等，這些數據既可以爲客戶帶來效用，也可以爲商家或產品導入流量，而這些都來自於用戶身份的信息交互和社交應用。

3.搜索

以搜索引擎爲支撐，可以收集基於用戶搜索行爲的需求數據，之後根據用戶搜索需求進行精準廣告的投放或相關信息的鏈接、關鍵詞的提示，搜索網站可以以這些數據做爲資產，按照點擊次數付費帶來收益。

3.2 政府機構應用場景

1.工商部門

通過大數據資源，建立註冊登記監測預警機制，對市場準入中的外地異常投資、行業異常變動、設立異常集中等異常情形進行監控，對風險隱患提前介入、先行處置，有效遏制了虛假註冊、非法集資等違法行爲。同時爲企業提供產業動態、供需情報、投資情報、專利情報、招投標情報等基礎性情報信息。

2.氣象部門

通過大數據，抓取氣象局、地震局的氣象歷史數據、星雲圖變化歷史數據，以及城建局、規劃局等的城市規劃、房屋結構數據等數據源，通過構建大氣運動規律評估模型、氣象變化關聯性分析等路徑，精準地預測氣象變化，尋找最佳的解決方案，規劃應急、救災工作。

3.醫療衛生

建立人口健康信息大數據平臺，公共衛生部門通過覆蓋區域的居民健康檔案和電子病歷數據庫，建立數據交換平臺和數據共享平臺，實現各業務部門數據資源的互通互聯，利用大數據，實現檢測傳染病，進行全面的疫情監測，並通過監測進行快速響應和採取措施。

3.3 金融行業應用場景

1.預測需求

通過大數據，金融企業可監控各種市場推廣運作情況，將客戶行爲轉化爲諮詢流，從中分析客戶的個性特徵、風險偏好，瞭解客戶的金融往來習慣及使用行爲，進一步分析及預測客戶潛在的需求。

2.個性化服務

通過大數據所在地的人口特徵，年齡及交易量複雜度、客戶在網站、手機銀行、微信銀行等軟件使用習慣分析，得出客戶比例，針對比例考慮新增矮櫃服務窗口並提供大屏幕顯示器提醒，提供不同需求的諮詢和服務等。

3.風險管控

可通過對企業的生產、流通、銷售、財務等相關信息結合大數據挖掘方法進行貸款風險分析，量化企業的信用額度，更有效地開展中小企業貸款，同時對中小企業貸款進行風險評估和實時欺詐交易識別、反洗錢交易等手段。

相信除去上述適合建設大數據平臺的幾個典型行業或部門，其它行業尤其是行業中的大中型私有企業大多數都會對大數據寄予厚望，期待它可以解決長期存在的業務問題，幫助他們在市場搶奪中勝出，使營銷模式創新，在產品與服務中更具有優勢、競爭力；或者一定程度上認爲不上大數據就跟不上時代的形式。如果一定要進行大數據建設，那麼一定要認清信息當前的信息化規模，在瞭解大數據建設的前後關係後，按部就班的進行規劃實施，切不可什麼都不規劃、考慮就輕易將資金投入到大數據的建設中揮霍。下面就來看看對待大中型的私有企業如何進行大數據方案的落地。

4. 傳統企業大數據價值分析

4.1 能源

對於能源企業，通過對能源生產、供給、消費、智能設備、客戶信息、電力運行等不同數據源的數據進行綜合分析，可以設計開發出節能環保產品，爲用戶提供付費低、能效高的能源使用與生活方式；可以充分挖掘客戶行爲特徵，提高能源需求預測準確性，發現消費規律，提升企業運營效益的同時，增強對企業經營發展趨勢的洞察力和前瞻性，有效提高企業決策分析和風險管控能力。

4.2 製造

通過大數據技術，分析系統內部（結構化/非結構化數據）和外部（產業、行業、社交、國計民生數據），貫穿於設計、工藝、生產、管理、服務等各個環節，例如：設備預測維護、優化生產流程、能源消耗管控、對原物料品質進行監控，發現潛在問題並及時預警、通過預測能力改善訂單處理方式，在客戶下單前處理訂單，提高效率、通過預測消費者需求優化物流及合理進行庫存管理。

4.3 零售

通過大數據，主要將內部信息（POS信息、商品銷售信息、顧客信息、門店樓盤信息、銷售額、利潤分析等）與外部信息（市場信息、競爭對手信息、流行趨勢信息、政策與制度信息、新技術信息、消費趨勢等）進行統計分析，幫助企業根據分析客戶羣屬性及活動規律，繼而進行客戶羣體細分，針對性的制定出精細化的營銷方案，同時根據市場環境對新產品技術進行預測，創新業務及產品，精準投資，提高投資回報率。

4.4 醫療

通過大數據，結合醫院各個信息化系統間的互通數據，並結合患者具體健康情況及過往病史，如：病人基本屬性數據、病例數據、用藥數據等，幫助醫生快速做出診斷及提供針對性的用藥治療、加強對病人的護理，減少再入院機率；在醫院管理方面，大數據通過對患者臨牀記錄及相關外部政策、社交評價等信息的收集，便於根據政策及時調整醫療模式，對員工績效進行考覈、優化醫院內部付款、臨牀、服務流程，規範用藥標準，提升整體服務能力等。

4.5 房地產

通過大數據，將房地產企業內部（企業信息化系統）與外部（統計年鑑、行業管理部門、相關行業報告、行業專家意見及屬地市場調查等）數據進行挖掘、分析，使管理者掌握和了解房地產行業潛在的市場需求，未來一段時間每個細分市場的銷售量和價格走勢等，針對不同的細分市場來實行動態定價和差別定價；同時可以掌握競爭者的商情和動態，知曉在競爭羣中所處的市場地位，瞭解地產行業黃金地段，輔助投資擴展地段。

5. 企業大數據該如何落地

無論企業如何，有大數據的建設意識，一定程度上可以理解爲在信息化建設上還是有一定概念的，但是在建設前一定要清楚兩點，第一，大數據並不是可以解決企業信息化中的所有問題；第二，大數據建設的前提是企業具有較高的信息化建設基礎。

5.1 大數據不能解決的問題

1.提高數據質量

很多企業管理者會認爲大數據分析是對數據治理後進行分析，這樣的想法是大錯特錯的，大數據主要是在合理時間內達到擷取、處理、並整理成爲幫助企業經營決策的資訊，期間包括數據的採集、存儲、分析、展現，是不涉及到數據治理的，真正的數據治理還是需要專業的數據治理工作，如MDM主數據管理系統。

2.節省工作時間

有些管理者認爲企業運用了大數據分析，可以節省員工對市場分析、業務處理、客戶維護的時間，但大數據只是起到預測作用，實際的決策還是需要企業自身承擔，而且對於缺失對大數據處理數據庫、服務器、業務分析技能的企業信息中心來說，一定程度上增加了企業的工作負擔。

3.系統數據整合

很多管理者認爲大數據的建設會將企業各個應用系統的數據進行整合利用，同時對遺留系統的數據也可以很好的利用，然而大數據是不具備系統數據整合能力的，對於系統的整合還是要依靠專業的整合工具ESB來實現。

5.2 大數據建設的前提條件

上文中提到，在進行大數據建設前要確認企業是否具有較高的信息化建設基礎，這裏的建設基礎如下：

企業是否具有足夠支撐數據分析的信息化系統
信息化系統是否存在信息孤島現象，有無整合
企業內部信息化系統數據是否進行統一的治理（全面性、一致性、準確性）
企業內部系統間業務流程是否進行統一的梳理

5.3 企業典型的IT架構階段

1.第一階段

數據治理：對企業組織、人員、崗位進行統一治理，實現數據統一同步及分發，保持數據的一直性、準確性、完整性。
應用整合：集成企業內部各個IT 應用系統，並使之互相協同工作，形成一個更大的整體系統，不只是實現系統間的技術集成整合，還要實現業務之間的有機整合。
門戶集成：將企業內部原有的零散系統中的信息、應用、服務通過頁面集成、菜單集成等技術整合在統一的訪問平臺，提供企業範圍內的統一授權和身份認證，基於單點登錄、個性化配置方式，爲企業IT架構提供一個標準的、可擴展的Web 應用基礎框架，平臺支持多端登錄，即PC門戶、移動門戶；同時建立數據門戶。
數據門戶：在門戶集成中構建企業數據門戶，即企業系統數據的統一分析展現平臺，通過多樣的圖表、表格等形式高效地展現，幫助企業進行運籌決策，第一階段涉及分析的信息化系統根據企業管理者當階段需求而定。

2.第二階段

數據治理：根據第一階段數據治理內容，繼續完善企業內部主數據，即客戶、供應商、物料等，通過一組標準和方法轉換異構操作數據，在整個企業範圍內保持數據的一致性、完整性、準確性。
數據分析：通過數據集成將散佈在企業所有系統中的數據，以一種鬆散耦合、集中呈現的方式進行統一管理，使數據在企業範圍內互聯互通，之後通過配置相關的數據源進行數據獲取，以圖表報表形式展現結合後的基礎數據與業務數據，在數據門戶中以柱狀圖、餅狀圖、趨勢圖、雷達圖、甘特圖、高級表格、樹形表格等形式展現，爲管理者提供全面的決策分析，同時爲下一階段大數據分析奠定基礎。
流程集成：爲跨異構系統的流程集成，以業務流程爲中心，幫助企業各業務環節與客戶需求對齊的管理方法，有效整合人力、信息等資源，實現跨系統、跨部門、跨組織的企業運營，支撐企業實現業務的“縱向貫通”與“橫向集成”，幫助企業實現從戰略到運營端對端的跟蹤、反饋與優化。

3.第三階段

第三階段爲大數據分析階段，通過將企業內外部數據進行統一的分析，能夠真實、準確、清晰、有效的將企業內部及行業外部相關數據進行可視化展現，幫助企業提升行業洞察力，加強決策力，從而提升整體競爭力，大數據的建設過程分爲五步。

數據基礎平臺建設：建立數據平臺的架構，進行數據規範，關鍵數據指標體系的建立，從各個部門中的業務指標進行提煉。
數據報表與可視化：進行標準化可配置數據報表設計，可視化輸出設計，包括行爲、收入、性能、質量等多種數據類別。
產品與運營分析：對已有的用戶行爲和收入數據等進行分析，輸出日報、週報、月報等各種專題分析報告，包括：產品優化分析、付費轉化率分析、渠道效果分析等。
精細化運營平臺：搭建運營平臺，進行用戶、商品和服務細分，通過多種算法的組合優化進行商品和服務的個性化推薦，針對不同產品的生命週期和用戶生命週期構建產品數據運營體系。
戰略分析與決策：通過機器、算法和數據分析來實現“業務運營監控層”和“用戶/客戶體驗優化層”工作，真正利用好大數據帶來的價值。

5.4 大數據常見的技術手段

大數據處理所涉及的主流技術，一般包括數據存儲和管理，包括文件系統、數據庫資源管理系統、計算、分析展現工具，如圖所示：

在上層爲計算處理層，如Spark、Storm、MapReduce包括各種不同計算方式，如批處理、流處理和圖計算等；數據分析和可視化基於計算處理層，分析包括簡單的查詢分析、流分析以及更復雜的分析（如機器學習、圖計算等）；查詢分析多基於表結構和關係函數，流分析基於數據、事件流以及簡單的統計分析，而複雜分析則基於更復雜的數據結構與方法；數據可視化是對分析結果的展示，具體技術細化爲數據採集、數據存儲、數據匯聚、數據展現、數據使用。

1.數據採集

在大數據分析中，數據採集作爲第一個環節，分別採集內部數據（管理系統、Web系統、物理信息系統）和外部數據（行業、產業、社交、國計民生），因爲數據來源不同，所以會存在不同的結構，如文件、XML樹、關係表、視頻聲頻等，數據採集主要將這些數據收集、整理、清洗、轉換後，生成到一個新的數據集，爲後續查詢和分析處理提供統一的數據視圖。

2.數據存儲

一般情況下的數據存儲類型多爲結構化數據，通過關係數據庫系統（RDBMS）即可解決，但是在大數據分析技術中，多爲半結構化和非結構化數據，而且各種大數據應用通常是對不同類型的數據內容檢索、交叉比對、深度挖掘與綜合分析，這就需要用到Hadoop、列存儲數據庫Cassandra 、文檔數據庫MongoDB、圖數據庫Neo4j、K/V存儲Redis等。

結構化數據：對於此類數據，主要採用列存儲數據庫Cassandra來解決，這類技術具有高性能和高擴展性特點。
半結構化與非結構化數據：對於此場景，基於Hadoop實現，通過對Hadoop生態體系的技術擴展和封裝，實現對半結構化和非結構化數據的存儲和管理。
結構化與非結構化混合數據：對於此場景，基於Hadoop、列存儲數據庫Cassandra 、文檔數據庫MongoDB、圖數據庫Neo4j、K/V存儲Redis等技術結合的模式進行數據處理。

3.數據匯聚

數據匯聚，即根據大數據的不同數據特徵和計算特徵，從多樣性的大數據計算問題和需求中提煉並建立的各種高層抽象或模型，這裏一般基於Spark、Storm、MapReduce等數據計算框架，通過數據分析算法，進行數據統計分析、實時流處理，機器學習和圖計算等。流計算實現對實時數據進行流式計算的能力，例如實時追蹤頁面的訪問統計，訓練機器學習模型，自動化異常檢測；圖計算支持針對圖的各種操作以及一些常用圖算法；機器學習算法，包括分類、迴歸、聚類、協同過濾等，提供了評估模型、數據導入等支持功能。

4.數據展現

數據展現部分主要將轉換匯總後的數據以可視化的形式直觀的展現在用戶面前，相比傳統使用表格或文檔展現數據的方式，展現形式更具多樣化、豐富化，包括：餅圖、柱狀圖、折線圖、氣泡圖、面積圖、省份地圖、詞雲、瀑布圖、漏斗圖等酷炫圖表，還包括自定義指標、表單查詢等功能，可以滿足用戶不同的展示和分析需求。

5.數據使用

如果大數據只是對數據採集、存儲、分析和展現，那麼它就沒有存在的意義了，而體現大數據真正價值的是數據使用，即這些彙總分析後的大數據可以爲企業帶來什麼利益。

對於政府

可以促進智慧電網、智慧交通、智慧醫療、智慧民生等多個領域的發展，交通方面可以對監控錄像信息、地鐵公交刷卡信息、停車站收費信息等收集，幫助公交路線設計、車流指揮控制等緩解交通負擔，醫療方面通過數字化病歷檔案，收集病人信息，實現檢測傳染病，進行全面的疫情監測，並通過監測進行快速響應和採取措施等。

對於企業

大數據能夠幫助企業分析大量內外部業務、行業、產業、社交數據，進一步挖掘市場機會和細分市場；幫助企業不同部門管理者掌握風險、決策分析；幫助企業根據用戶的反饋、市場需求催生產品和服務上的創新，給符合用戶的需求；同時除了幫助企業在戰略、市場上的創新，還可以幫助企業在改革中挖掘新的更服務企業業務的管理模式和運營流程。

對於個人

大數據可以幫助用戶在消費、信息檢索時實現按需搜索，並能提供可信的、真實的、有效的、友好的信息推薦、針對性的服務，如針對個人身體情況提供個性化的醫療服務，針對個人喜歡提供個性化購物服務等，有效地提升用戶體驗。

6. 關於大數據建設的意見

上述講到了大數據的含義、爲企業帶來的變化及適合應用的行業，但這並不意味着其它行業不可以建設大數據，筆者也身處IT行業，對當前大數據技術和理論略知一二，大數據的確可以幫助企業帶來利益，但大數據不僅僅是需要上述講到的建設前提、規劃步驟、IT及技術能力，還要考慮管理者的建設意識、大數據建設前期的數據思維、企業自身發展情況等因素。

6.1 意識行動

對於一個企業來說，若想大數據建設到位，管理者的意識行動十分重要，這就要求管理者要具有較強的信息化意識、超前的規劃能力、對待變革的創新力、推進執行的決斷能力，首先，保證企業的信息化水平整體上處於領先狀態，爲大數據分析平臺建設奠定基礎；其次，大數據的建設需要對企業系統數據、業務流程、業務關係等一系列事情進行整理分析，過程是較爲漫長的，這就需要管理者有持續監督和推進的意識；最後，平臺的建設一定程度上會促進業務的變革，這就需要管理層具備應對變化的能力和創新業務的能力。

6.2 數據思維

無論是大數據還是數據治理，都需要以數據爲基礎，但相對於數據來說，具有運用數據的思維更重要，即數據思維。數據思維是根據數據來思考事物的一種思維模式，是一種量化的思維模式，是重視事實、追求真理的思維模式。數據思維要求我們理性的正確的運用數據去分析處理一些事物，講究邏輯關係，用數字說話，而不是靠傳統的經驗去判斷。

那麼爲什麼要企業管理者具有數據思維呢？大多情況下，企業習慣用經驗去判斷一件事發生的原因及規律，很少從數據結果上去評判推斷事情的規律，這就會造成企業忽視數據的重要性，數據治理薄弱，最終不能爲大數據奠定良好的基礎；第二，管理者通常習慣經驗判斷模式，數據思維意識較弱，在大數據分析產生的結果和事實面前，如果與預期不符，會感到無法接受，並感到自己的權威受到挑戰，從而不能更好的適應和利用大數據平臺，所以只有具有數據思維意識才能掌握大數據思維，而避免思維產生斷層。

6.3 結合自身

相信對於大多數的大中型私有企業來說，企業主要的關注點一定是在成本、收入、利潤、風險這四點上，而企業若想對着四點數據進行把控，不通過大數據技術手段也是可以實現的，因爲這些關心的數據更多的是對企業內部的系統數據進行彙總、治理、集成、分析、展現、融合。

如果一定需要分析展現的平臺，事實上，使用企業數據門戶就可以滿足現階段的要求，數據門戶通過對企業各個應用系統的數據進行整合，將企業成本、收入、風險等數據統一分析，並以圖形化、圖表化等形式展現。爲各層管理者提供管理駕駛艙、決策戰略室、運營分析平臺，同時裏面涵蓋了KPI指標、數據統計分析、監控預警等功能。

企業的管理層有大數據意識是件好事，但是一定要在力所能及的情況下進行建設，面對當前需要，可以選一款好的平臺產品搭建數據門戶滿足當前需求，在建設過程中一方面不斷完善企業內部關於信息化建設、推進的制度/文化，培養企業員工的信息化意識，提升對信息化的重視程度；另一方面逐漸完善加強信息化基礎設施的建設、搭建統一的IT架構，爲後續大數據平臺建設奠定基礎，待IT設施與大數據建設條件配套後，屆時大數據分析平臺一定可以成爲爲企業帶來利益的最佳助手。

論企業大數據的落地路徑