用研中需要小心使用NPS

之前在可用性測試的分享中,提到了一種完成任務後做的一種問卷調查方法:NPS。仔細研究了NPS後,發現如果不能深刻理解NPS,會造成誤解甚至隱患。

1、什麼是NPS

NPS,淨推值。它看似非常簡單,基於一個大家再熟悉不過的問題:“你向朋友或同事推薦某公司的可能性有多大?”以0-11分爲評分範圍,0代表“根本不可能”,10代表“非常有可能”,讓受訪者從中用一個數字,並且問受訪者給出該評分的理由

2、如何計算NPS

NPS=推薦者% - 貶損者%

舉個例子,比如一份NPS問卷結果:15個人是推薦者(9到10分),50個人是中立者(7到8分),35個人是批評者(0到6分)。那麼NPS=15%-35%=-20%,分數是-20。

NPS分數會受到行業影響,一般來說,NPS>0就會被認可爲不錯,>50就算傑出,>70以上則被認爲是一流的公司。

3、NPS指標本身的不足

以下對一些NPS的缺點進行簡單分析,並給出使用時可以使用哪些改進的方法。

1)💔11點量表過長,導致不同人對相鄰的分數理解不同、造成測量誤差。更糟糕的是,NPS的算法任性地指定了6-7分、8-9分是臨界分數,讓這個問題雪上加霜。

2)💔任性地把0-6分、7-8分、9-10分劃分爲三類人,並且在計算NPS時直接忽略7-8分者的人數佔比,這個做法非常武斷,在跨文化研究中經常被詬病。

3)💔NPS本質是一個比例差,這意味着會有信息損失以及更高的誤差:

信息損失
NPS得分相同,但是情況完全不同:50%的推薦者和50%的批評者,10%的推薦者和10%的批評者。長期觀察NPS的值,分數不變,但是人羣佔比分數可能完全不同。

更高誤差:
本身在大樣本下,誤差控制不超過±5%,但是兩個值相減,誤差就會擴大到±10%

4、針對不足的推薦方法

1)❤️同時計算NPS及推薦意願平均值,並給出兩個數值的置信區間,提供一個全景。
這個做法的好處很多:一方面,在NPS很低時,有可能發現平均值還可以,沒有那麼令人驚悚,比如最近一個項目發現NPS只有1%但是平均值有7分左右; 另一方面,這個做法能直觀地讓管理層知道NPS的算法會帶來更大的誤差區間,對日後監測時分數波動會有心理準備。

2) ❤️同時給到每一檔人數的分佈,未來即使NPS分數不變,也應去看三類人羣的佔比分佈是否有變化。

3)❤️7~8分者在計算公式時會被忽視,但是在隨後的推薦/不推薦理由追問題中不要忽略他們。通常對這類用戶同時問“爲什麼願意推薦”“是什麼阻止了更高的推薦意願”。

5、NPS在實操過程中的複雜性

1)🏠一個分數無法簡單衡量用戶體驗,需要結合場景
用戶體驗本質是多環節、多場景的。越場景化、具體化,用戶主觀打分會越準確、越有實操性。衡量用戶體驗還是必須建立覆蓋重點場景和環節的指標體系,而不是隻看單一的綜合性指標。

2)🏠詢問NPS分數的理由,目的是找出關鍵的滿意因素和不滿因素,而無法衡量全盤的用戶體驗。要達成後者,需要通過對各個環節的單獨測量。所以,不要期待用推薦/不推薦這道問題,得出各個環節的體驗問題。
🌰反例:某公司在“發現”頁的NPS調研問卷中,把“廣告質量好”作爲推薦理由的一個選項。但用戶不會因爲廣告質量好就推薦給其他人使用的。設置這個問題可能是迫於壓力衡量發現頁的廣告體驗,但是使用了不合理的衡量方法。

3)🏠拿着NPS分數與行業、競品對比
不同調研機制之下的結果嚴格來說是不可比的。調研機制(目標人羣定義、抽樣方式、樣本加權方式、投放時間、投放渠道、問題設問、問卷UI)不同,極大影響了分數。
拿着NPS分數與行業、競品對比,會產生極大的誤解和隱患,除非是所有競品都使用了一致的調研機制平臺,NPS纔有參考意義。

所以,在可用性測試中完成任務後對產品做的NPS問卷,因爲任務是假設了場景的,更重要的是得到的NPS是一個參考,更深的原因還需深挖。

參考資料:

1、Net Promoter Score Considered Harmful (and What UX Professionals Can Do About It)

2、《作爲用研對NPS調研的真心話大吐槽

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章