前言
本篇文章講解的是電商分析平臺中的各個模塊需求,後續的文章還在慢慢更新中,我會把所有的需求都寫完之後,把文章統一開放,敬請等待
需求總體概述
一 離線數據分析
動作表解析:
通過埋點採集到的用戶行爲數據被存儲在了動作表裏，我們關注用戶的四種行爲，即點擊、搜索、下單、購買，用戶每執行一次上述操作，就會產生一條日誌，之後按照一定的時間單位（例如一天）被導入動作表中，也就是說，動作表中的一條數據對應用戶的一次行爲（點擊、搜索、下單或者購買中的一種）
二 實時數據分析
實時數據主要用於統計用戶點擊廣告
需求詳解
用戶訪問Session分析
用戶訪問session，是在電商平臺的角度定義的會話概念，指的就是，從用戶第一次進入首頁，session就開始了。然後在一定時間範圍內，直到最後操作完（可能做了幾十次、甚至上百次操作），離開網站，關閉瀏覽器，或者長時間沒有做操作，那麼session就結束了。
以上用戶在網站內的訪問過程，就稱之爲一次session。簡單理解，session就是某一天某一個時間段內，某個用戶對網站從打開/進入，到做了大量操作，到最後關閉瀏覽器。的過程，就叫做session。
session實際上就是一個電商網站中最基本的數據和大數據。那麼面向消費者/用戶端的大數據分析，最基本的就是面向用戶訪問行爲/用戶訪問session的分析
用戶在電商網站上，通常會有很多的訪問行爲，通常都是進入首頁，然後可能點擊首頁上的一些商品，點擊首頁上的一些品類，也可能隨時在搜索框裏面搜索關鍵詞，還可能將一些商品加入購物車，對購物車中的多個商品下訂單，最後對訂單中的多個商品進行支付。
用戶的每一次操作，其實可以理解爲一個action，在本項目中我們關注用戶的點擊、搜索、下單、支付等行爲。
每一條用戶訪問行爲數據就記錄了用戶的一次操作，也就是說用戶的每次點擊/搜索/下單/支付行爲，就會產生一條用戶訪問行爲數據，在一次Session中包含着用戶的多個行爲，那麼也就會產生多條用戶訪問行爲數據。
用戶的點擊、搜索、下單、支付行爲都會產生一條用戶訪問行爲數據，因此，每一條用戶訪問行爲數據只包含四種行爲中的一種。
數據展示:
頁面單跳轉化率統計
頁面單跳轉化率是一個非常有用的統計數據。
-
產品經理，可以根據這個指標，去嘗試分析整個網站/產品，各個頁面的表現怎麼樣，是不是需要去優化產品的佈局；吸引用戶最終可以進入最後的支付頁面。
-
數據分析師，可以基於此數據，做更深一步的計算和分析。
-
企業管理層，可以看到整個公司的網站，各個頁面的之間的跳轉的表現如何，做到心裏有數，可以適當調整公司的經營戰略或策略。
區域熱門商品統計
我們認爲，不同地區的經濟發展水平不同，地理環境及氣候不同，人們的風土人情和風俗習慣不同，因此對於不同商品的需求不同，根據區域熱門商品的統計，可以讓公司決策層更好的對不同類型商品進行佈局，使商品進入最需要他的區域。
該模塊可以讓企業管理層看到電商平臺在不同區域出售的商品的整體情況，從而對公司的商品相關的戰略進行調整。
廣告流量實時統計
網站 / app中經常會給第三方平臺做廣告，這也是一些互聯網公司的核心收入來源；當廣告位招商完成後，廣告會在網站 / app的某個廣告位發佈出去，當用戶訪問網站 / app的時候，會看到相應位置的廣告，此時，有些用戶可能就會去點擊那個廣告。
我們要獲取用戶點擊廣告的行爲，並針對這一行爲進行計算和統計。
用戶每次點擊一個廣告以後，會產生相應的埋點日誌；在大數據實時統計系統中，會通過某些方式將數據寫入到分佈式消息隊列中（Kafka）。
日誌發送給後臺web服務器（nginx），nginx將日誌數據負載均衡到多個Tomcat服務器上，Tomcat服務器會不斷將日誌數據寫入Tomcat日誌文件中，寫入後，就會被日誌採集客戶端（比如flume agent）所採集，隨後寫入到消息隊列中（kafka），我們的實時計算spark程序會從消息隊列中（kafka）去實時地拉取數據，然後對數據進行實時的計算和統計。
這個模塊的意義在於，讓產品經理、高管可以實時地掌握到公司打的各種廣告的投放效果。以便於後期持續地對公司的廣告投放相關的戰略和策略，進行調整和優化；以期望獲得最好的廣告收益。
模塊需求:
下一篇文章:項目架構解析