本文根據神策數據 A/B 測試交付方案負責人簡寧關於《數據驅動產品價值提升》的演講整理，從產品價值定義、建模及提升三方面展開。主要內容包括：
-
產品價值定義：能且更好、更多地解決用戶的問題
-
產品價值建模：用什麼樣的指標做產品價值評估
-
產品價值提升：以準確的認知、精益的量化來提升產品價值
一、產品價值定義：能且更好、更多地解決用戶的問題
產品的價值是什麼？我們如何創造產品價值呢？
在工作場景中，我們常常會思考：用戶在用我們的產品解決什麼問題？用戶爲什麼從衆多產品中挑選並使用我們的產品？用戶爲什麼會留在我們的產品？其實，產品的價值也就是產品存在的意義。
我們可以將產品的價值概括爲：能且更好、更多地解決用戶的問題，不只是單純的幫助用戶解決問題。換句話說，創造產品價值的過程也就是解決用戶問題的過程。
如何實現「能且更好、更多地解決用戶的問題」這一目標呢？我們可以通過構建相應的策略和工具來完成，舉個例子：在常見的電商場景中，我們希望幫助用戶完成商品交易，核心策略便是幫助用戶找到物美價廉的商品，關鍵詞有三個——“找”“物美”“價廉”，相應的商品展示策略可以滿足用戶對“物美”的需求，價格策略滿足用戶對“價廉”的需求，選品策略幫助用戶快速找到符合需求的商品。在這個場景中，商品展示策略和價格策略具象化之後可能會是紅包、優惠券等折扣機制，是我們支持策略的工具；選品策略則是我們支持策略的策略。
那麼我們通常是在解決用戶的哪些問題呢？從大的分類來看，可以分爲兩種：第一，幫用戶節省時間，提升用戶效率；第二，幫助用戶消磨時間，提升愉悅感。
再結合產品對用戶的價值層面，即解決問題的方式來看，解決用戶問題的模塊可以分爲 4 類——工具、交易、內容、社區。如下圖所示：
當我們能夠通過產品本身幫助用戶實現節省時間這一目標，那麼便是解決問題模塊中的“工具”模塊；當我們通過產品本身幫助用戶消磨時間，便是“內容”模塊；當我們連接其他資源/產品，幫助用戶節省時間，那麼則是“交易”模塊；當我們連接其他人，幫助用戶尋找圈子和互動的對象，那麼便可以稱爲“社區” 模塊。
在上述分類之外還會有其他的分類方法，比如遊戲產品的分類會更加複雜，這裏我們不做贅述。接下來我們基於此分類方法，通過具體的場景進一步挖掘產品如何解決用戶的問題。
舉個例子，當你計劃假期出去旅行，那麼肯定需要提前確定目的地，旅行 App 便會在此時幫助你解決問題：在確定目的地的環節，App 通過內容模塊幫助你發現感興趣的目的地；在安排行程環節，App 可以通過工具模塊幫助你完成高鐵、飛機、酒店等行程要素的查詢和預定；當你結束了美好旅程，希望將自己的所見所聞進行分享時，App 的社區模塊便給了你發佈攻略或者旅行見聞分享的機會，得到旅行之外的價值感受。
在這個案例中，我們可以明確看到產品是如何通過“工具、交易、內容、社區”四個模塊以複雜的協作關係來幫助用戶解決問題的。
二、產品價值建模：用什麼樣的指標做產品價值評估
現代管理大師彼得·德魯克曾說過：“如果你無法度量它，那就無法管理它。”所以在講述如何提升產品價值之前，我們要先去量化它。
這裏引入一個大家耳熟能詳的模型，叫做 OSM 模型。O 代表業務目標，也就是產品要解決的問題，或者是解決這個問題所代表的的某個用戶的關鍵行爲；S 是指實現業務目標所採取的業務策略；M 反映業務目標達成度、業務策略表現情況的數據指標。
首先，我們要梳理業務策略和業務目標，它一定是非常具體的、可執行的、可度量的。在前面我們提到的“幫助用戶找到物美價廉的商品”就不夠具體，可以進一步做拆解——“物美”這一目標對應商品詳情頁的高轉化率；“價廉”對應的是支付環節的高轉化率。通過這樣的拆解我們才能夠確定策略及目標是能夠被度量的。這裏需要解釋一下，我們的策略可能是層層嵌套式的，當前的策略也有可能是下屬子策略的目標。
接下來我們通過一個具體的案例來理解確定目標、梳理策略的過程。
某消費金融 App 場景中，用戶註冊之後要先進行風險授信，平臺才能確定相應額度並向用戶放款。通常情況下，該 App 會採取兩類策略：
第一，在前端設計用戶路徑，引導用戶完成該流程。操作方式是當用戶註冊之後直接把用戶引導至授信流程；如果用戶沒有完成授信，那麼便在首頁的額度卡片上以低息高額度吸引用戶完成授信；同時，在首頁開設新人專區，通過新人相關權益吸引用戶完成授信。
第二，當用戶對以上策略都不“感冒”，那麼我們可以在用戶離開之後做主動觸達，比如新用戶在 24 小時內沒有完成授信，便通過短信觸達提醒用戶；如果用戶在 72 小時仍未授信，那麼我們可以通過電話瞭解用戶下載 App 的初衷，傳遞相應的價值主張吸引用戶完成授信。
以上流程僅僅針對授信模塊進行策略梳理，實際的業務場景會更加複雜。如果我們用這種方式進行梳理，那麼我們的目標對應的策略會更有邏輯。
接下來我們分別通過目標策略建模和業務策略建模來評估目標和策略表現。
（一）四類業務目標建模方法（OM）
首先，通過數據評估各類目標實現程度。對於業務目標本身，“工具”模塊可能會關心用戶使用的頻次，以及用戶使用過程中是否足夠順暢、體驗感如何；“內容”模塊希望用戶能夠在這裏花費更多的時間，也希望所提供的內容是用戶感興趣的；“交易”模塊希望用戶能夠產生更多的購買行爲以及更高的客單價；而“社區”模塊則更希望用戶能夠與其他人發生更多聯繫、互動，結成親密的社交關係。
通過這樣的解讀思路，我們在梳理業務指標的時候就會更加明確：“工具”模塊關心操作的具體數量，如果是一個拍照的軟件，就關注用戶拍了多少張照片；如果是題目答案搜索工具，就關心用戶是否找到了自己想要的答案。同時，在過程中關注用戶的目標完成率。當我們確認了用戶使用過程是高效的，那麼需要進一步確認用戶的使用頻率，用戶是否已經養成使用習慣等。
“內容”模塊會從用戶和內容兩個角度進行評估，用戶的數量是否足夠多、用戶花費的時間是否足夠長，這兩個指標可以直接反映“用戶”的情況；而從內容的角度看，瀏覽廣度可以評估內容庫的庫存效率和分發效率，同時在這個過程中也會關注用戶是否產生了互動，參與度如何等。
對於“交易”模塊，我們通常會關心交易金額和客單價，以此評估商業收益和單個用戶創造的價值；同時也會關心一些核心場景中的轉化效率，比如通過商品詳情頁或者支付環節的轉化效率，幫助我們評估用戶是否真的找到了自己需要的商品；也會通過用戶的復購率來觀察用戶對產品的認可和忠誠度。
“社區”模塊則更多關注用戶互動量、發佈內容的數量，當互動量和內容量越多，社區活躍度越高，便能夠產生正向循環。另外，我們也會關注一些個人項指標，比如他有多少個好友、日常會進行多少個對話等，以此評估個人項關係的緊密程度。
（二）五種業務策略的建模方法（SM）
通常情況下，我會把業務策略的五種建模方法分爲兩類：白盒策略和黑盒策略。
白盒策略的設計邏輯較爲清晰，包括長效的功能模塊，設計單獨路徑引導用戶完成某個行爲的短效引導機制，某個頁面的體驗優化等單點體驗設計。而黑盒策略背後通常是複雜的算法，其中最常用的是推薦算法和識別算法。
1、長效功能模塊
我給長效功能模塊做了一個比較嚴謹的定義——它是能夠獨立解決用戶問題的模塊，或者是一個自成閉環的模塊。比如，單獨的一個內容模塊、社交模塊，或者簡單的搜索功能、語音助手功能等；進一步來描述也可能是用戶的成長體系等可以自成閉環的模塊，通過“完成相應的任務、獲取積分、消費積分”形成閉環。
對於長效功能模塊，我們會通過三個角度來評估策略的好壞：
首先是功能使用情況，也就是功能運轉情況如何，是否能夠滿足用戶需求？包括頻次、強度（如交易類的金額、內容類的時長）、留存率和目標轉化率。
然後是功能覆蓋情況，即產品能夠解決多大範圍用戶的問題？通常所使用的指標是滲透率，以此評估我們需不需要爲這個功能引入更多用戶。
最後是功能貢獻情況，功能對目標達成的直接貢獻有多少？相比而言哪個更優、哪個更差、哪個需要我們做進一步的干預……
舉個例子，某瀏覽器產品的目標是提升用戶使用時長，其瀏覽器主模塊之下有短視頻、直播、小說、遊戲等子模塊，共同配合幫助用戶完成“消磨時間”的目標。針對該瀏覽器，我們需要評估子模塊的使用情況、留存情況，以及每一個模塊分別的用戶情況及佔比，來定位用戶接觸最多的模塊。
2、短效引導機制
短效引導機制通常是一條業務路徑，或者單純爲了某一個業務目標去做引流的相關手段。通常我們會從三個角度進行短效引導機制的評估。
第一，策略完成情況。有多少策略達成了引導目的？觸發了多少次？實現了多少次用戶點擊？目標完成率是多少？
第二，策略覆蓋情況。覆蓋了多少目標人羣？比如進入路徑的用戶佔目標大盤人羣的比例是多少？策略觸發的用戶佔目標大盤人羣的比例是多少？
第三，策略貢獻情況。各項策略對目標達成的直接貢獻分別是多少？
舉個例子，某在線教育公司希望引導用戶完成激活，採取的業務策略是用戶參與活動後的五天內可以暢學平臺上的所有課程，基於此評估入口的點擊量、課程領取的點擊量，以及不同模塊帶來的有效學習行爲的貢獻佔比有多大等。通過這一整套機制評估每一類短效機制，便可以發現值得關注的高質量機制以及需要進一步優化的機制。
3、單點體驗設計
單點體驗設計通常是一個詳情落地頁面的設計、一套交互動作、一個圖標或引導文案。我們會以流程轉化情況和用戶滿意度兩種方式來進行評估。
1）流程轉化情況。適用於有明確下一步目標的轉化場景，可以根據目標達成率、人均點擊次數等指標來進行評估。比如進入某零售品牌的官網，平臺會告知你註冊後可享受若干免費權益，以此來引導你完成註冊。
2）用戶滿意度。適用於沒有明確引導目標的體驗優化，通常會採用 NPS 評價、滿意度打分、相關投訴的數量等間接方式進行功能評估。舉個例子，某生活 App 會通過統一設計語言來優化視覺效果，爲用戶帶來更好的體驗，間接影響用戶的長期留存。
4、推薦算法
推薦算法常見場景包括：爲用戶推薦內容、商品，爲用戶推薦 TA 可能感興趣的好友等，通常會從吸引指標、完成指標和性能指標三個維度評估推薦算法的好壞，如下圖所示：
5、識別算法
識別算法的典型應用場景是電商平臺識別“羊毛黨”、識別可能會流失的用戶等，通過精準識別和定位做及時精準的干預，挽回不必要的損失。同樣，我們也可以通過精確率、召回率和 AUC 值來進行識別算法的評估。我們用更形象一點的方式來描述算法，可以將它比作我們用來打漁的漁網：
精確率：假如你只想在魚塘裏打撈魚，撒網之後發現完美地避開了螃蟹和蝦米，這就說明這個“漁網”有足夠的精準率。
召回率：假設魚塘裏一共有 100 條魚，它們是你的精確目標，你在撒網之後撈上來 90 條魚，那麼你的召回率爲 90%；如果只撈上來 2 條魚，那麼雖然算法具有足夠的精確率但是“漏網之魚”過多，仍舊需要不斷優化算法邏輯來提升召回率。
AUC 值：是指模型在各種閾值之下的適應情況，決定了模型在各種條件之下的適應程度。
三、產品價值提升：以準確的認知、精益的量化來提升產品價值
爲什麼要用數據驅動產品價值的提升？之所以會提出這個問題，是因爲我們的工作過程中經常會存在兩個痛點：怎麼知道我做的是不是對的？怎麼知道什麼事情是更有價值的？而數據的存在就是要幫助我們解決這兩個問題。所以我將數據在執行過程中的作用總結爲三點：第一，觀測效果；第二，驗證想法；第三，量化效益。基於這三點，我們可以進一步瞭解數據驅動產品價值提升的五個步驟。
-
根據業務目的，明確量化指標
-
梳理關聯業務策略，構建評估體系
-
控制影響因素，通過 A/B 測試驗證因果邏輯
-
多維分析數據，量化策略影響，排序優先級
-
基於準確的原因，實施產品優化
接下來我們將側重圍繞後面三個步驟做詳細講解。
（一）圍繞 A/B 測試數據分析，驗證目標和策略之間的因果關係
首先，我們講一個小故事：產品經理通常會在新版本發佈後，持續關注核心指標的變化。若核心指標上升，產品經理會得到改版效果的正向反饋；但有時由於技術上暴露了潛在風險，因而執行了版本回退，卻發現核心指標仍在上漲，這時產品經理便只能推翻原來的想法。
其實原因很簡單，市場營銷同學並沒有停止投放、運營同學仍有序發佈裂變、拉新等促活的活動，所以產品經理就很難確認核心指標的提升是因爲版本發佈帶來的，還是因爲營銷動作、運營活動帶來的。
因此，如果沒有控制變量的話，我們很難找到可靠的事實依據來確定目標和策略之間的因果關係。所以，增長專家們才常常會說，只有隨機對照試驗是建立因果關係的黃金標準。
再舉個例子，某資訊 App 在日常數據分析過程中發現，新用戶首周發佈 3 條以上評論後，留存率較高。因此該 App 制定了引導用戶首周發佈評論的業務策略。爲了驗證該策略的效果，運營團隊通過 A/B 測試做了對照試驗。從數據上來看，雖然引導評論的策略得到了用戶評論量的明顯增加，但對留存的提升並沒有直接影響。
此時進一步思考，該業務策略和目標之間是因果關係還是相關關係？從因果的角度來思考，其實可能是新用戶在首周看到了 3 條以上感興趣的內容，才導致他發佈了 3 條以上的評論，進而對起留存有一定的影響。
基於因果關係來思考，我們可以通過優化推薦算法，爲用戶推送他感興趣的內容，來達到促留存的目的，這可能是更正確的方向。
（二）排序工作優先級最大化產出，量化策略對目標的影響程度
量化策略對目標影響程度的方法有三種：
1、獨佔式權重。多個策略共同達成同一業務目的，各策略獨立貢獻指標數值。比如我們剛纔所提到的瀏覽器的例子，遊戲、直播、小說等子模塊共同配合幫助用戶解決消磨時間的問題，其量化方法便是計算用戶在每個模塊使用時間所佔的份額。
2、歸因算法權重。多個策略協作達成同一業務目的，策略之間存在協作、重疊關係。產品中常見的 Banner、分類導航等其他入口模塊共同承擔着向詳情頁引流的作用，因此需要採取科學合理的方式分配其貢獻。在神策分析中，針對此問題的常用方法有首次歸因、末次歸因、平均歸因等。
3、業務經驗打分。有時候僅使用策略的直接指標來評估並不全面，需要引入其他維度綜合打分。比如預估當前策略能夠對多少用戶產生影響、開發難度如何、是否有足夠的事實依據等。在不同場景下的打分方式可能不同，考量的維度也會有所不同。
（三）基於準確的原因確定怎麼辦，實施產品優化和策略迭代
當我們確定了工作優先級，接下來就需要基於準確的原因來實施產品優化和策略迭代。
舉個例子，某電商 App 一開始的商品設計是沉浸式體驗版的大圖，除了商品之外沒有任何其他修飾。爲了配合某場營銷活動，運營同學在商品圖上增加“滿 399 減 20”的優惠文案邊框，但增加文案邊框後的大圖點擊率反而有所下降，針對此，我們可以猜測：一是用戶更喜歡沉浸式產品圖，增加邊框後影響美感；二是優惠文案邊框會讓用戶產生“產品是否爲正品”的擔憂。
爲了進一步驗證猜測，運營同學在文案邊框之外增加了關鍵字“正品保證/支持驗貨”，觀察一段時間後發現點擊率有了明顯提升。如此便證實了優惠文案邊框給用戶帶來產品質量顧慮的猜測，也可以基於此做其他產品的商品圖改版。
實際上，用戶的轉化行爲背後對應一套決策的天平，通過我們兩次策略改版，我們可以發現這個案例中影響用戶決策的因素有三個：價值的感知；安全的顧慮；價格的阻力。每個用戶心中的天平是不一樣的，可能當我們降低了用戶在安全和價格方面的顧慮，便會有更多用戶發生轉化。
不過除價值、價格和安全三方面之外，也會有一些其他因素對用戶決策產生影響，比如物流效率等，向用戶傳達“你可以更快收到商品”的訊息。大家可以結合實際業務場景做更深入的思考並完善用戶決策模型。
當我們進行了多次 A/B 測試之後，對決策模型的理解會更加完善，接下來，我們就有了能力去微操這個認知模型下的策略。
怎麼理解呢？舉個例子，對於品牌官網來說，通常只需要沉浸式體驗大圖來做商品宣傳，並不會將直接轉化作爲核心指標；對於經銷網店來說，因爲有衆多競爭對手，需要採取價格策略搶佔更多市場份額，因此會選擇優惠激勵版本；而對於一些信譽度堪憂的第三方平臺，爲了獲取用戶最大程度的信任，就需要對商品質量做出保證，選擇優惠 + 信任的版本效果更佳。在該過程中，品牌官網、經銷商和第三方平臺不同做法的差異其實是背後客戶羣體的差異，因此需要各自針對自己平臺用戶進行試驗，並調整出適合自己的方案。這也就是我們所說的微操，也就是說：別人的不一定是好的，只有不斷尋找和試驗才能找到更適合自己的。
最後總結一下，數據驅動產品價值提升的核心原則是，以準確的認知、精益的量化來提升產品的價值。同時也只有這樣，我們才能夠正確地操控自己的業務，掌握自己產品的命運。