作者介紹
@郝笑笑 微信號：hao-xiao-xiao。
目前在互聯網公司擔任數據分析師，並負責DAU流量的增長策略與數據監控。
希望可以和各位一起交流學習。
1 導語
相信對於很多剛入門的分析師小白來說，評估活動效果、洞察業務機會，是所有工作中最可以體現價值感的事情，但也可能是令我們最頭疼的事情。本文作者基於自身的實際工作經歷，結合一個真實的運營活動，對活動評估中可以複用的數據分析“套路”進行總結和整理，希望能夠給初接觸數據分析的同學帶來幫助。
一般來說，互聯網公司的運營活動按照目的可以分爲3種：拉新、促活、品牌宣傳，儘管每種活動關注的核心績效指標完全不同，但是分析的思路還是可以套路化的。接下來，本文將以某次促活活動爲案例，分享下如何對一場活動的效果進行量化評估。
2 活動背景
伴隨着移動互聯網用戶的增速越來越趨於飽和，用戶增長的破局方法不得不從拉新獲客轉換爲如何促活存量用戶。
通過第三方廣告媒體app（比如微信、抖音等）投放針對老用戶的素材對用戶促活，已經成爲很多公司用來提升存量老用戶活躍度的有效方法（後續會統稱爲“渠道拉活”）
某公司的市場投放部門也開始投入預算試水「渠道拉活」這一項目，在項目啓動一段時間後，已經回收累積了大量的用戶數據，但是：
渠道拉活對於DAU的帶動貢獻究竟有多大？
是否值得持續投入更多的資源？
活動情況的ROI如何？是否符合預期？
活動是否存在改進空間？
這些領導和業務方非常關注的問題，需要分析師基於數據給出公正和客觀的答覆。
3 分析框架和指標體系
3.1 分析框架
活動整體增量效果評估 (包括短期效果分析、長期效果分析)
ROI 覈算（計算單用戶的拉新或者促活成本）
參活用戶質量評估
活動存在問題分析
3.2 指標體系
3.21 流量規模
數據指標：
DAU
參與活動的用戶數（舉例：渠道拉活成功召回的用戶數）
通過活動首次調起app的uv（舉例：通過渠道拉活首次調起app的uv）
通過活動首次調起app的uv佔day的比例（舉例：通過渠道拉活首次調起uv的dau佔比）
可解決的問題：
通過對比事先制定好的活動KPI指標，評估目標完成率；
與其他活動對比，評估促活的核心指標（通常是DAU）是否達到預期；
評估渠道拉活能夠召回的用戶量級有多大；
評估對DAU的淨增量貢獻有多大；
3.22 用戶質量、用戶畫像
數據指標：
留存率（次日回訪率、7日回訪率、30日回訪率）
日均使用時長
核心功能***率
核心功能人均PV
人羣畫像（性別、城市、消費能力）
可解決的問題：
評估渠道召回用戶的質量
監測是否存在刷量作弊渠道
3.23 用戶行爲
數據指標：
站外轉化漏斗（舉例：廣告曝光-廣告點擊-成功調起app-deeplink抵達特定頁面）
站內核心行爲的轉化漏斗（舉例：活動頁-列表頁-詳情頁）
可解決的問題：
評估用戶從站外渠道到抵達App的路徑是否順暢，發現產品bug或者可以改善的機會點
評估活動的站內承接策略是否合理
4 分析過程
4.1 活動效果評估以及活動ROI分析
在量化DAU (或者活躍天數) 貢獻時，需要減去用戶的自然活躍量，即計算“淨增量”貢獻。該貢獻可以分爲當日貢獻和長期貢獻。
當日貢獻是指：當日的召回用戶對於當日DAU的增量貢獻
長期貢獻是指：由於召回用戶的後續迴流，在後續特定時間範圍還會持續貢獻的用戶天數增量。比如，活動後的50個參與用戶，在後續30天內人均活躍天數比活動前提高10天，那麼促活的增量貢獻就是1500天。
不得不承認，AB實驗最擅長處理歸因和量化的問題。它的思想是，將流量隨機分爲數量均勻和特徵均勻的兩組（即對照組和實驗組），實驗組用戶只有在產品策略上與對照組不同，因此我們可以認爲兩組用戶在同一時間維度上的指標差異，可以完全歸因於策略上的差異。
然而，該廣告拉活項目無法設計對應的AB實驗，但我們可以基於AB測試的思想，構造與實驗組“相似”的用戶羣體作爲對照組。具體過程如下：
將拉活渠道喚起app的用戶作爲實驗組，未曾被拉活召回的存量用戶作爲對照組；
選取可能影響用戶未來活躍度的特徵（比如機型、新增渠道、歷史活躍度、…），基於“特徵相同”的原則，對兩組用戶劃分爲 N 對實驗組和對照組。注意儘量將特徵通過區間離散化，避免劃分出的某一組落入的樣本數過少，導致兩組樣本的指標差異不可信，比如特徵「新增日期間隔」可以離散化爲：7天內、8-14天、14天以上；
計算 N 對實驗組和對照組的每一組的指標差異值，以及實驗組的總指標差異（等於每一組指標差異*人羣佔比的相乘結果求和）
通過以上方法，可以計算出拉活對於當日DAU的貢獻、以及拉活對於未來30天DAU的總增量貢獻。
實際上，對於拉活對DAU的單次短期貢獻，有更爲簡便的方法，即基於“首次歸因”的思想，通過“拉活首次調起app的uv”進行量化評估，即如果用戶多次啓動過app，那麼只有當通過促活廣告首次調起app了，纔會計入到促活廣告的功勞。
值得一提的是，“首次歸因”的方法也可以應用至“產品新上線功能評估”的效果量化中，通常我們可以將“啓動app後首次訪問該功能的用戶量”作爲該功能對dau的貢獻量。
對於活動成本的核算，我們可以通過 “總成本消耗量 / 總DAU增量”，計算每個DAU增量的成本，以評估ROI是否符合預期。
4.2 用戶行爲分析、和用戶質量評估
可以以「大盤未參活用戶」、「同期同類活動」、「往期同類活動」分別作爲對比基準，基於用戶行爲漏斗、留存率、核心行爲pv、人均使用時長等指標，識別本次促活策略是否有薅羊毛或者作弊嚴重的渠道，並評估活動拉來的用戶質量好壞。但這裏不作爲本次分享重點，因此不再展開贅述。
5 結語
作爲數據分析師，實際工作中遇到的促活策略往往是五花八門，但是活動效果好壞的評估過程依然是有章可循的。最後，簡單總結下本文對於後續活動評估的可複用之處：
- 如何構建活動評估的指標體系；
- 如何量化歸因活動的短期貢獻（即“首次歸因”法）；
- 如何在無法開展AB測試的情況下，通過構造對照組的方式，快速地量化評估長期的增量貢獻；
一個數據人的自留地是一個助力數據人成長的大家庭，幫助對數據感興趣的夥伴們明確學習方向、精準提升技能。關注我，帶你探索數據的神奇奧祕
1、回“數據產品”，獲取<大廠數據產品面試題>
2、回“數據中臺”，獲取<大廠數據中臺資料>
3、回“商業分析”，獲取<大廠商業分析面試題>；
4、回“交個朋友”，進交流羣，認識更多的數據小夥伴。