導讀：近年來，直播帶貨成爲一種新的流行業態。主播在直播間與線上消費者實時互動，這極大的提高了信息交流的效率。在這種實時性極強的場景，主播對直播間實時信息的使用有可顯著影響直播間的帶貨情況。
爲了讓主播實時、準確的掌握直播間的信息，我們爲淘系的主播們提供了一款智能數據助理，幫助他們在直播中和下播後便捷、準確、全面的查看和分析數據，進而做出決策和行動。
當主播們每天高頻使用智能數據助理之後，我們通過線上AB實驗並結合量化分析方法證明了數據 > 決策 > 行動 > 數據這一閉環的存在，驗證了數據與行動之間的因果，同時，證明了數據產品的價值。
1. 淘寶直播
現如今電商直播帶貨已經成爲商家銷售的非常流行且重要的渠道，而其所主要依賴的就是各個直播平臺，淘寶直播作爲其中的領軍者，相信大家都有用過、或者有所瞭解。在直播的業務場景中，淘寶主播主要會做以下的事情：
綜上，主播在整個直播業務流程裏面要做的事情非常多，所以主播對於平臺有了一些期望和訴求，希望通過豐富平臺的能力，幫助他們更好的帶貨和成長。
從直播流程介紹中我們不難發現有很環節都是需要數據支撐的，比如主播怎麼更快選到合適的商品，直播中如何更好的進行策略的調整、怎麼更好的互動，下播後怎麼提高覆盤的質量和效果，下場直播哪些需要改進、哪些需要保持等等，接下來一起看下主播有哪些核心訴求以及其對應的解決方案。
2. 主播訴求
在線直播過程中能夠實時的調整直播策略，提升直播質量，提升C端用戶體驗。
下播後，能夠及時的覆盤本場整體表現，直播能力、帶貨能力、互動能力、粉絲粘性、流量運營等是否滿足預期，下次開播需要做哪些策略調整與準備。
希望有數據可以幫助瞭解自己的粉絲羣體，以便於更好的做粉絲運營。
希望有數據可以輔助主播更好的成長，比如自己在行業中排名如何，競對有哪些優點可以學習，自己哪些短板需要改進等（知己知彼百戰不殆）
3. 解決方案
基於主播訴求，達摩院數據智能團隊和淘寶直播團隊制定瞭如下解決方案：
提供實時直播場次報告，通過不同維度、不同展現形式讓主播能夠在直播過程中實時查看全面的核心場次數據，並且同時支持PC和APP端查看。
提供下播報告，提供整個場次完整的數據內容，相比實時場次報告更是多了智能決策能力、流量運營彙總等能力
提供數據機器人，以對話的方式，方便主播及時查看直播診斷、行業排名等數據，給出成長建議，幫助主播成長
提供文本挖掘的能力，對於直播中評論文本進行挖掘聚類，爲主播提供及時的C端用戶心聲（體現在場次報告中）
決策智能能力，識別直播過程中的關鍵時間點，基於此做多模態歸因分析，將多模態識別結果及直播快照在離線場次報告的趨勢圖模塊進行展示。
針對頭部主播，提供主播大屏，方便運營團隊人員實時查看直播核心數據，特別是在促銷和大促時，便於團隊多人協作、及時作出合理決策。
提供場次對比能力，允許主播快速多維對比歷史多場表現，總結直播經驗，提升覆盤效率。
以上解決方案對應的便是智能數據助理的產品能力，其中包含了場次報告、主播大屏、場次對比、數據機器人，以上產品具備PC+APP兩種形態展示，數據同時支持直播中和下播後。接下來我們一起看下各個產品形態及其核心能力。
1. 場次報告
首先我們看PC端，主播在直播過程中，用戶點擊淘寶直播中控臺推流界面右下角的【查看詳細】按鈕，就可以跳到實時場次報告界面，以便主播實時的瞭解直播間情況，實時做出合理決策。
下播後，主播在淘寶直播中控臺我的直播頁裏，可以看到歷史開播場次，點擊每個場次右邊的【數據詳情】也會跳轉到離線場次報告頁面（也成爲下播報告），主播可以基於整場直播的數據做離線覆盤。
在場次報告的右側可以看到幾個按鈕，最顯眼的就是PK場次對比、數據大屏，這兩個按鈕點擊後可以分別跳轉到場次對比和主播數據大屏頁面中，那除此之外還有另外四個目錄：總覽、趨勢、流量、商品，分別鏈接到數據總覽、趨勢分析（集成多模態識別歸因能力）、流量運營、商品分析四大功能模塊，下面逐個解說下：
核心彙總數據：這裏又分訪問、轉化、成交三部分，相關指標都做了粉絲佔比數據解析。
訪問主要包括觀看次數、瀏覽次數、在線人數、觀看時長等指標
轉化主要包括新增粉絲數、商品引導PV\UV、點擊率等指標
成交主要包括引導成交筆數、人數、金額，預售下定金額、尾款金額等指標
實時趨勢：主要分爲流量波動、粉絲轉化、成交運營三種類型核心指標的趨勢分析。
目前我們做的是每5分鐘打一個點，數據實時更新，讓主播可以直觀的看到直播過程中數據的趨勢變化，以輔助其做出合理的決策；
該模塊中集成了多模態識別歸因能力，根據相關指標趨勢的波峯波谷時間點通過算法模型計算出異常點位，然後配合直播快照、商品上下架、互動數據及多模態能力識別出在某個異常點是因爲什麼原因導致的該指標異常，同時將直播回放定位到該時間點點位，大大提升主播發現覆盤改進提升的效率。
流量運營：主要包括實時流量運營【趨勢圖】、離線分渠道流量運營佔比兩大功能。
實時流量運營主要是進入到直播間的流量來源趨勢圖，目前包含關注、推薦、廣告、店鋪、搜索等13種流量來源，主播可以根據每種流量來源的趨勢數據進行實時流量運營及決策
分渠道流量運營主播可以判斷場次整體的流量分佈是否符合預期，有問題可以快速發現
商品分析：該模塊主要展示直播間每個上架商品的引導、成交情況，核心指標包括商品點擊次數、人數，商品成交金額、件數，商品預售下定金額、尾款金額等，這裏主播可以看到每個商品的實時數據情況，以便於其實時調整播報順序及策略。
以上是PC版，場次報告同時也提供了APP端展示形式，更加方便主播的使用，接下來我們詳細看下：
在APP端，主播開播推流後，在手機【推流界面左滑】就可以進入場次報告中，這裏是通過浮層的形式進行展現，主播看完數據【手指在場次報告頁面右滑】就可以回到推流界面，操作非常方便；其展示的數據指標和PC端保持一致，但是由於APP的空間限制，我們只篩選了PC端指標裏面的重要指標進行了展示，同時也間接的給主播減壓，通過最核心的指標快速決策。
2. 數據大屏
直播數據大屏是頭部主播的權益（目前只有V等級4、5的纔有權限），數據大屏再促銷、大促等關鍵時間點往往發揮着至關重要的作用，場次報告中有說到，在場次報告PC端的右側點擊【數據大屏】按鈕進入到主播數據大屏中，數據大屏是集成在PC端【APP端沒有】，相對於場次報告，是一種更酷炫的展現形式，其展示的數據指標也更加聚焦。
這裏的功能模塊主要包括：核心的三大指標累計觀看此時、累計成交金額、新增粉絲數，觀衆地域排行（和中間的中國地圖動態呼應），觀衆畫像指標，粉絲成交佔比等等
3. PK場次對比
基於主播開播近期平均表現，劃定benchmark，進行客觀的直播間場次數據覆盤；提供自定義場次對比工具，允許主播快速多維對比任意兩場表現，總結直播經驗，提升覆盤效率；在場次報告PC端的右側點擊【PK場次對比】按鈕進入到場次選擇頁面，主播可以選擇歷史兩場直播，點擊確認按鈕後進入場次對比頁面，
這裏主要包含首頁5大核心指標（訪問用戶數、最高在線人數、平均停留時長、新增粉絲數、引導成交金額）的對比，以及其中四類核心指標的對比詳情，提供了多種PK展現形式，比如最高在線人數趨勢分析PK，引導成交流量轉化漏斗PK等等、
4. 數據機器人
數據機器人是APP端的能力，在淘寶主播APP首頁，點擊【看數據】進入到機器人頁面，數據機器人通過對話的形式和主播進行多樣的數據互動；
在對話頁用戶可以問一些，比如直播診斷、直播的核心數據、排位賽日程等資訊信息，另外主播可以輸入一些自己想看的指標，比如輸入成交，數據機器人可以智能識別主播的問題，並結合以往的歷史數據給到主播想要看的數據指標。
數據機器人裏還集成了一些像直播診斷的能力，直播診斷可以爲主播提供主播能力雷達圖，讓主播能夠直觀的看到自己哪些方面在行業裏做得比較好，哪些方面還有待提高。還提供全網、同級同類目成交排名等指標讓主播瞭解自己在行業中的排名情況等等。
另外，數據機器人還集成了大促戰報的push能力，讓參與大促的主播能夠及時的瞭解大促期間的直播相關數據。
5. 產品成果
上面介紹了數據助理的所有產品形態，數據助理產品日常峯值服務75+%的淘系主播，覆蓋淘寶直播、閒魚直播、淘特直播等業務。
數據助理提供了數據查詢能力，主播可以查詢實時場次數據、核心指標趨勢、帶貨成交數據，以及大屏監控、歷史場次數據PK分析；也提供了智能能力，異常點檢測、多模歸因、直播診斷等能力，幫助主播定位直播過程中的優缺點；還提供了精細化運營能力，比如權益投放、粉絲運營、流量運營等等。精細化運營效果又可以通過直播過程中的實時數據反饋出來，形成數據的閉環，真正實現了數據賦能主播、智能輔助主播決策。
1. 數據鏈路
基於早期對於數據助理產品的規劃，我們做了詳細的數據架構設計、平臺調研選型，同時兼顧性能及成本。
我們重點針對Lindorm和ADB進行了調研、驗證和對比，由於產品特性（多維查詢、實時性、靈活性要求比較高）最終選擇了ADB進行支持。
由於數據助理是直接服務與淘寶主播，所以對於穩定性要求非常高，爲了保障產品的高可用，我們做了核心鏈路【計算、存儲、服務】的雙鏈路保障。
通過霸下進行攔截惡意攻擊流量，降低數據2/3的惡意無效數據訪問，大大降低了存儲及服務的資源消耗。
在其他直播業務有複用需求後，我們也及時的升級了數據鏈路，提取實時數據中間層，DWS數據同時寫入ADB、Lindorm、TT以支持不同直播業務場景的需求，做到了一份數據、一個口徑、多場景複用。
2. 數據分層
數據鏈路中提到了建設直播數據中間層，接下來我們一起詳細看下，中間層建設分爲數據接入層、數據中間層【DWD、DWS】、業務應用層。
數據接入層：主要來源於直播業務數據、集團公共層、達摩院智能數據
數據中間層：分爲DWD、DWS層、維表、又包含實時數據建設和離線數據建設，以下重點將實時部分、離線數據建設和實時是保持一致的
DWD層重點建設直播間明細層數據，其中包含直播間曝光、點擊、觀看、互動（評論、點贊、分享、關注等）、商品引導、商品成交、商品預售、直播間文本語義識別、多模歸因、關鍵點識別等數據
DWS層我們主要做了直播間、直播間+商品、直播間+渠道、直播間+來源、直播間+粉絲等直播間相關維度的彙總及趨勢數據、同時還包含直播間的多模數據
維表：包含了直播業務鏈路中的各種維度數據，比如直播間、主播、商品、用戶、商家、商品類目、渠道、來源等等
業務應用：這裏主要是中間層數據服務的對象，包括達摩院直播賽道【數據助理、數字人、直播一體機、主播助理】、直播中控臺、生意參謀、產品360等等
隨着直播業務越來越火，達摩院直播賽道（數據助理、主播助理、虛擬人、直播一體機）以及集團其他直播業務產品線陸續啓動，這套數據也得到了很好的複用；之後更是與集團DT團隊、淘寶直播數據團隊一起搭建了集團內容中間層，基於此也完善了達摩院自己的直播數據中間層。
3. 架構總結
整個數據助理產品數據架構建設，可以以上圖作爲總結，我們同時支持PC端或者APP端開播後的數據展示，多端保持數據一致性，實時數據下播後以下播報告的形式展現、其他產品形態與此類似，實時離線數據使用同一份、嚴格保證數據的口徑一致。與此同時我們有達摩院的智能能力加持，賦予了數據助理數據產品的智能化特性。
基於前面介紹的主播訴求，以及針對主播訴求數據助理產品的內容和架構。經統計發現有非常多的主播在直播過程中或下播後，真的是在使用數據助理產品的。那接下來我們想知道主播用了數據助理產品，是不是真的影響到了主播的決策，真的爲主播的直播帶來了一些價值。所以我們想通過課題實驗的方式，進行實驗，分析數據，用數據來說明數據助理產品的業務價值。於是我們與清華大學經管學院電子商務實驗室的同學和老師一起來實現了課題的內容。
1. 實驗過程
① 提出問題
因爲數據助理已經提供給主播，所以在不影響主播使用的前提下，我們選擇了雙十二版本的數據助理實時場次報告的內容來做驗證。雙十二版本的實時場次報告與之前的版本相比是增加了實時預售信息的，雙十二版本的實時預售信息主要體現在這兩個地方：第一個是指標總覽的成交是可以看到本場次所有預售商品的總的成交情況的；第二部分是在商品分析模塊中，每個預售商品都可以實時地查看預售的金額，筆數等指標。
② 實驗設計
實驗設計部分，我們的實驗方案是根據主播帳號尾號隨機分組，尾號0、1、3、8的主播在12月1號到12月3號的預售期間進行直播使用數據助理的實時場次報告的時候是可以看到實時預售信息的，而其他尾號的主播在相同的時間進行直播使用數據助理是看不到實時預售信息的。能看到的主播即實驗組，看不到的即對照組。如下圖所示：
③ 數據分析
a. 基礎數據準備
實驗結束以後進行了如下的數據分析：
統計發現主播使用數據助理且場次中含有預售商品的實驗組直播場次有737場，對照組直播場次有1051場。
對實驗組和對照組而進行了主播粉絲數、預售商品數、主播等級、上月播出時長等關鍵指標的對比分析，發現實驗組和對照組在這些指標上的表現是不存在顯著差異的。指標的定義和分析結果如下圖所示：
又作了進一步的過濾，只關注預售商品銷量大於1的直播間。進一步過濾之後，我們又做了以上關鍵指標的對比分析，確認實驗組和對照組在關鍵指標上不存在顯著差異，至此保證兩組可比。
具體指標的分析是通過T檢驗的方式，詳細的分析數值如上圖所示。這個實驗課題分析目前已經完成，且對外發表了：
Y. He et al., “The Sales Data Sells : Effects of Real-Time Sales Analytics on Live Streaming Selling,” in AMCIS, 2021, pp. 1-10.
https://aisel.aisnet.org/amcis2021/data_science_decision_support/data_science_decision_support/12/
b. 主分析-數據助理有效
在保證了實驗組和對照組可比之後，我們進行了商品銷量的分析。下圖圈選部分爲預售商品銷量的分析結論。Model 1代表的是引入了是否達人，主播等級，還有商品種類等直播間特徵的迴歸分析的結論。Model 2是不考慮直播間以上特徵的分析結論。P value都是小於0.01的，P value越小，結果越顯著。
另外，我們又做了進一步的魯棒性校驗：在實驗組和對照組中，沒有使用數據助理的直播重複主分析，發現預售商品銷量不存在顯著差異。
綜上，主分析結論爲：實時預售信息的引入顯著提高預售商品的銷量，提升log(sales) 18.6%。
c. 數據助理爲何有效
有了以上分析得出的主結論，主播看到了實施預售信息後是怎樣實現預售商品銷量的提高的，我們做了以下兩個假設：第一個是主播延長預售商品的直播時間。第二個是提高銷售效率。
由於無法確切地獲得主播對某個商品進行介紹的持續時間，所以我們選擇用用戶點擊某個商品的時間分佈區間取時間分佈的中間部分，作爲主要點擊時間的區間，近似模擬商品直播時間。取【X%-Y%】分別爲【10%-90%】、【20%-80%】、【30%-70%】、【40%-60%】進行分析，分別對應Model3、Model4、Model5、Model6。
同時定義了銷售效率的概念，將銷售效率定義爲銷量除以主要點擊時間區間。
對實驗組和對照組的數據進行詳細分析，對應分析數據如下圖所示，得出結論：
相比於對照組，實驗組預售商品的主要點擊時間區間沒有顯著延長，故不支持假設1；
相比於對照組，實驗組預售商品的銷售效率顯著提高，故支持假設2。
更進一步，對實驗組和對照組觀衆在直播間的評論數據做了分析，抽取一些關鍵詞進行比例的分析以及詞雲的分析，如下圖所示，得出如下結論：
相比於對照組，實驗組中用戶對預售的討論比例更高；
相比於對照組，實驗組中用戶提到缺貨信息比例更低；
相比於對照組，實驗組中用戶問題比例更低。
對照組用戶評論詞雲
d. 數據助理對誰有效
進一步，根據主播粉絲數的分位數，將樣本分爲三個子集，分別對應粉絲量少、中、多的直播間在每個子集上進行分析，數據如下圖所示，分析結論：對中等粉絲量的直播間顯著提升預售商品銷量，對粉絲數少和多的直播間效果不顯著。
數據助理不提供自動刷新功能，若要看最新的數據需要手動刷新，一次手動刷新算一次使用。根據主播一場直播使用智能數據助理次數的中位數，區分深度使用和較少使用智能數據助理的主播進行指標分析，如下圖所示，得出以下結論：
直播中主播使用智能數據助理次數較多的直播場次，提供實時預售信息顯著提高預售商品銷量。
感謝
價值驗證的整個過程有非常多同學參與其中，在此特別感謝：
清華大學經管學院電子商務實驗室：王伶俐 博士生、陳國青 教授、郭迅華 教授
休斯頓大學：何玉梅 博士後、Yili (Kevin) Hong 教授、Nina Huang 副教授
在文末分享、點贊、在看，給個3連擊唄~
本文分享自微信公衆號 - 凹凸數據（alltodata）。
如有侵權，請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”，歡迎正在閱讀的你也加入，一起分享。