如何避免掉陷阱?首先你要學會做個講邏輯的產品經理

圖片描述

本文作者:hihipm 微信公衆號:策略產品經理講堂(ID:hihipm)原文地址:猛戳這裏

數據是個很好的東西,可以幫助我們做出相對客觀的產品決策。但是數據中也存在着很多的陷阱,如果我們沒有很好的邏輯分析能力,很可能會被數據玩弄而做出愚蠢的決策。今天,咱們就結合工作可能遇到的一些陷阱來聊聊這些數據陷阱以及怎麼避免掉入陷阱。

開始之前,我們先看看幾個大家在工作中可能會遇到過的案例吧!

  • 購買A類商品的用戶當中有80%的都是甲類用戶,因此當發現用戶是甲類用戶時,應該給用戶比一般情況下推薦更多A類商品

  • 當乙值增加時,B功能的轉化率降低,因此應該限制乙值在一定水平

  • 用戶調研發現90%用戶喜歡C功能,因此我們需要增加C功能

  • 根據現有數據發現,D值相對較高的商品有更高的點擊,因此應該把D值高的商品的排序提前

  • 使用了E功能的用戶比沒使用E功能的用戶轉化率低,因此應該將E功能下線

大家應該猜到了,這幾個例子肯定是掉進數據陷阱的描述,所以不妨先想一想這幾個描述問題出在哪裏,如果你想不明白,這篇文章建議你看三遍。


1.購買A類商品的用戶當中有80%的都是甲類用戶,因此當發現用戶是甲類用戶時,應該給用戶比一般情況下推薦更多A類商品

逆命題陷阱

第一個案例的陷阱迷惑性很大,在實際工作中,我也經常碰到拿着這種描述來要求在某些場景下對某種類型商品給予更多流量的需求。從數據中,確實可以說明購買A類商品中甲類用戶偏多,但是這能夠說明甲類用戶比整體用戶更偏愛A商品麼?顯然不是,案例如下表:

圖片描述

假設A類商品和非A類商品的需求都是50,平均情況下A類商品和非A類商品的流量分配應該是50%:50%。雖然在購買A類商品中的用戶甲類用戶佔比爲80%,但甲類用戶需要A類商品的只有45%,還沒有到正常平均情況下的50%,原因就是因爲購買了非A類商品的用戶甲類用戶的比例高於80%。

這個陷阱叫做逆命題陷阱,逆命題應該是高中數學中的概念,如果你忘了我們舉個簡單的例子,如果有個判斷語句“如果於謙是郭麒麟的父親,那麼郭麒麟是于謙的兒子”,“如果郭麒麟是于謙的兒子,那麼于謙是郭麒麟的父親”是它的逆命題。逆命題有個特點,那就是當原命題是真的時候,逆命題不一定爲真。再有一個例子,“如果小明是人,那他一定是哺乳動物”的逆命題“如果小明是哺乳動物,那麼小明是人”就是不正確的,因爲小明有可能是猴子。但是如果一個命題是真的,他的逆否命題一定爲真,比如“如果小明不是哺乳動物,那他一定不是人”。本例中,“購買A類商品的用戶更可能是甲類用戶”爲真,但它逆命題“甲類用戶購買的更可能是A類商品”就是錯誤的。

這些簡單的邏輯學概念和定理,我相信大部分人是瞭解的,但是在實際工作往往忘記了這些基本的原理而做出一些愚蠢的決策。對於那些不怎麼了解的人,只需要記住一條:小心逆命題,別隨便把推斷的話反過來說。


2.當乙值增加時,B功能的轉化率降低,因此應該限制乙值在一定水平

相關和因果陷阱

數據分析是幫助我們找到產品問題/機會的重要手段,相關性分析是數據分析中最常見的方法,我們常容易犯把相關關係當因果關係的錯誤。關於相關關係和因果關係的描述,最著名的例子是冰激凌和溺水死亡率的例子:通過數據統計發現,冰激凌銷量增加時,溺水死亡率也顯著增加。那是不是可以限制冰激凌的銷量來控制溺水死亡率呢?對於風馬牛不相及的推斷,正常人都會嗤之以鼻。冰激凌的銷量和溺水死亡率只是存在相關關係,這種相關關係的產生是因爲在深處有一個相同的原因:氣溫的升高。但冰激凌的銷量明顯不是溺水死亡率高的原因,因此不能靠限制冰激凌的銷量解決溺水死亡率高的問題。但不幸的是,我們大多數人還是會犯同類型的錯誤,比如#2。

這個例子中,乙值的增加和B的轉化率降低應該都只是某個深層原因的結果,但在描述中我們把B轉化率的下降歸咎於乙值的增加,這就是我們錯把相關關係當因果的原因。對於如何避免這類錯誤,我們需要做的是儘量看到數據所體現的深層原因,將每個數據變化都對應到產品相關的實際因素中去,比如需求的變化、供應的變化、功能的改變、環境的變化、競對的動作等等,而不是讓數據分析只停留在數據層面。


3.用戶調研發現90%用戶喜歡C功能,因此我們需要增加C功能

4.根據現有數據發現,D值相對較高的商品有更高的點擊,因此應該把D值高的商品的排序提前

既定規則陷阱

在需求挖掘的方式中,個人非常願意將用戶調研的吐槽部分作爲發現問題的渠道,但絕對不會將用戶調研的建議部分作爲產品機會的直接來源。原因很簡單,用戶的不滿是真真切切存在,他們也懂得如何表達不滿,但用戶的建議受既定規則的影響往往是不靠譜的,就像那個福特汽車的例子:在汽車出現以前,所有的用戶只想要一匹更快的馬。如果人人都能提出靠譜的建議,還會有喬布斯張小龍這種被你們奉爲神的存在麼。

我一直對用戶調研持謹慎態度最深層次的原因,是因爲所有的用戶幾乎都受到了既定規則的影響,這種既定規則的影響,也給了我們設下不少的數據陷阱。比如#3,我曾見過通過“用戶競對app使用場景調研”的結論得出“我們應該增加C功能(和競對一樣)”的決策的例子,我想說的是:之所以許多用戶覺得C功能不錯(或者在使用C功能),是不是僅僅因爲競對提供了這個功能並且放在了明顯的位置呢?當然,如果你說用戶已經習慣了這種操作方式,這個結論也對,做這個功能也不會犯大錯。但如果始終採取這種方式做需求,那麼恭喜你,你又在不知所以然的道路前進了一步。另外分享個最近的思考題:現在手機屏幕越做越大,是不是因爲用戶說了想要更大屏的手機呢?但是用戶真的需要大屏手機麼?大屏手機到底有什麼好?

在用數據說話的策略產品中,也可能存在這樣的陷阱,比如#4中通過對現有的數據分析發現D值高的商品點擊量更多,得出應該將D值高排在前面的結論。在排序中,被排在前面的item必然比排在後面的item有更高的點擊,如果在之前的排序策略已經有了和D強相關的D1的特徵生效,那麼必然D值高(因爲D1高)的item就會有很高的點擊。因此“D值相對較高的商品有更高的點擊”很可能只是因爲本來D值高的排在了前面。如果你把D值加入到了排序當中,很可能會做無用功,也因此在策略相關產品增加特徵時,需要考慮新增特徵是否和老特徵正交。

對於既定規則陷阱的規避相對困難,這也是創新之所以難的原因。那一句非常虛的“挖掘用戶深層次的需求”是避免錯誤的不二法門,謹記要think out of the box。


5.使用了E功能的用戶比沒使用E功能的用戶轉化率低,因此應該將E功能下線

數據統計陷阱

這是最近同事在處理需求遇到的一個問題,本來大家都信心滿滿的一個需求,上線之後發現使用了E功能的用戶的轉化率還不如沒有使用E功能的用戶的轉化率高。如果停留在表面的數據分析,大多數人可能會做出需求下線的決策。但是真的對麼?產品對比試驗是我們經常使用的決策方式,這類試驗有一個基本前提那就是單一變量,要求進行對比的兩組用戶除實驗變量之外的統計特徵是相同的。回到案例,使用了E功能和沒使用E功能的用戶特徵相同麼?假設使用了E功能的用戶轉化率爲5%,沒使用的轉化率爲10%,或許,有沒有可能在沒有E功能之前,使用了E功能的這批用戶的轉化率只有1%?

在這個陷阱中,讓我們中招的是對數據取樣的錯誤處理。除了數據取樣,我們還可能遇到各種統計陷阱。對於這類陷阱,我們要時刻注意的是對比試驗中的兩組是不是單一變量:是不是同一羣用戶?是不是同一種場景?其他功能有沒有對結果有干擾?等等等。

通過對上面幾個陷阱的分析,不難知道如果能夠將上面說的陷阱具體內容描述拋開,抽象成具體的邏輯問題,結論的正確以否還是很容易判斷的。總之產品經理心裏要保有批判性的看數據的意識:做決策之前多想想數據和決策之間有木有正確的邏輯關係,做個講邏輯的產品經理吧。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章