大數據分析五步法流程順序

  我們知道做認識事情都有個流程順序,正確的流程可以事半功倍,錯誤的流程往往會導致事情重新來做。流程如此重要,具體到數據分析的流程也是一樣的,數據分析可以分爲五步,過程和家裏的賢內助做飯的過程相似,分爲問題識別,數據可行性論證,數據準備,建立模型,評估結果。希望本文可以拋磚引玉,引發對大數據分析的適用性、可靠穩健的大數據分析標準、如何健康發展大數據產業等問題更深入的探討。

  大數據分析五大步驟

  (一)問題識別

  大數據分析的第一步是要清晰界定需要回答的問題。對問題的界定有兩個標準,一是清晰、二是符合現實。

  (二)數據可行性論證

  論證現有數據是否足夠豐富、準確,以致可以爲問題提供答案,是大數據分析的第二步,項目是否可行取決於這步的結論。大數據和傳統數據的生成方式有本質不同。傳統數據往往是在識別問題、根據問題設計問卷、之後展開調查獲得的數據,而大數據卻是企業或者個體各類活動產生的附屬產品。作爲附屬產品,大數據往往不是爲了特定數據項目生成,也存在較高噪音。這就要求數據可行性論證過程需要仔細推敲,現有數據得出來的結論是否足夠可靠。由於大數據分析技術本質屬於數據挖掘法,過度擬合問題往往是大數據分析的難點。

  因此,在數據可行性論證主要涉及三個環節。第一,釐清項目需要的大數據、小數據和專業知識;第二,完成從抽象概念到具體指標的落實;第三,考察數據的代表性。

  (三)數據準備

  數據準備環節需要梳理分析所需每個條目的數據,爲下一步建立模型做好從充分預備。這種準備可以分爲數據的採集準備和清洗整理準備兩步。

  1.數據的採集準備

  爲大數據分析做數據採集準備時,往往不能迴避下列問題:項目的數據預算有多少?配備的人員設備是否足夠?項目預期數據採集的完成期限?項目打算用什麼方法收集數據?哪些數據是可以通過自身努力來獲取,哪些數據需要通過購買獲得?哪些數據獲取中會存在時間和經費上的不確定性?如果一些重要問題的答案是否定的或者含糊的,就可能需要重新回到數據可行性論證環節。這一點,對於希望用大數據分析做產品的小微企業、新創企業尤爲重要。

  2.數據的清洗整理準備

  雖然數據清理包含不少常規處理,但是高質量的數據清理工作需要數據準備團隊時刻對項目目標瞭然於胸。

  (四)建立模型

  大數據分析項目需要建立的模型可以分爲兩類。對於這兩類模型,團隊都需要在設立模型、論證模型的可靠性方面下功夫。

  1.專業領域模型

  大數據產品對應的項目可能有對應的專業領域模型,例如PEST分析模型、5W2H分析模型、邏輯樹分析模型、4P營銷理論模型、用戶行爲模型等。數據團隊需要明確爲何選擇某個專業領域的模型。

  2.數據分析模型

  這類模型包含分析結構化數據的數據挖掘算法模型;處理非結構化數據的語義引擎;可視化策略等。流行觀點中的大數據分析主要集中在對第二類模型的討論上。

  建立模型時既需要強大運算能力,也需要專家的主觀判斷。

  (五)評估結果

  評估結果階段是要評估上述步驟得到的結果是否足夠嚴謹可靠,並確保數據分析結果能夠有利於決策。評估結果包括定量評估和定性評估兩部分。

  1.定量評估

  定量評估是關注主觀標準的可靠性。數據挖掘分析方法在計算上雖然依靠技術,但不少關鍵節點依靠主觀標準。

  2.定性評估

  定性評估的重點是考察大數據分析的結果是否合理、方案是否可行。

  在評估大數據分析的結果時,由於定性評估往往需要一段時間之後才能完成,因此將大數據分析結果用於現實時,需要採取審慎步驟。

  以上五大步驟構成一個完整的數據分析過程,中琛魔方大數據分析平臺表示從開始思考目標到最後可視化呈現,從發現問題到提出解決方案,身爲數據運營者,我們既需要有整體思維,能夠從全流程去把握數據分析方法,也需要對細節極致追求,優化每一個步驟。當我們能夠從整體和細節都遊刃有餘得進行數據分析的時候,你就是一個合格甚至優秀的數據運營者。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章