用研中需要小心使用NPS

之前在可用性测试的分享中,提到了一种完成任务后做的一种问卷调查方法:NPS。仔细研究了NPS后,发现如果不能深刻理解NPS,会造成误解甚至隐患。

1、什么是NPS

NPS,净推值。它看似非常简单,基于一个大家再熟悉不过的问题:“你向朋友或同事推荐某公司的可能性有多大?”以0-11分为评分范围,0代表“根本不可能”,10代表“非常有可能”,让受访者从中用一个数字,并且问受访者给出该评分的理由

2、如何计算NPS

NPS=推荐者% - 贬损者%

举个例子,比如一份NPS问卷结果:15个人是推荐者(9到10分),50个人是中立者(7到8分),35个人是批评者(0到6分)。那么NPS=15%-35%=-20%,分数是-20。

NPS分数会受到行业影响,一般来说,NPS>0就会被认可为不错,>50就算杰出,>70以上则被认为是一流的公司。

3、NPS指标本身的不足

以下对一些NPS的缺点进行简单分析,并给出使用时可以使用哪些改进的方法。

1)💔11点量表过长,导致不同人对相邻的分数理解不同、造成测量误差。更糟糕的是,NPS的算法任性地指定了6-7分、8-9分是临界分数,让这个问题雪上加霜。

2)💔任性地把0-6分、7-8分、9-10分划分为三类人,并且在计算NPS时直接忽略7-8分者的人数占比,这个做法非常武断,在跨文化研究中经常被诟病。

3)💔NPS本质是一个比例差,这意味着会有信息损失以及更高的误差:

信息损失
NPS得分相同,但是情况完全不同:50%的推荐者和50%的批评者,10%的推荐者和10%的批评者。长期观察NPS的值,分数不变,但是人群占比分数可能完全不同。

更高误差:
本身在大样本下,误差控制不超过±5%,但是两个值相减,误差就会扩大到±10%

4、针对不足的推荐方法

1)❤️同时计算NPS及推荐意愿平均值,并给出两个数值的置信区间,提供一个全景。
这个做法的好处很多:一方面,在NPS很低时,有可能发现平均值还可以,没有那么令人惊悚,比如最近一个项目发现NPS只有1%但是平均值有7分左右; 另一方面,这个做法能直观地让管理层知道NPS的算法会带来更大的误差区间,对日后监测时分数波动会有心理准备。

2) ❤️同时给到每一档人数的分布,未来即使NPS分数不变,也应去看三类人群的占比分布是否有变化。

3)❤️7~8分者在计算公式时会被忽视,但是在随后的推荐/不推荐理由追问题中不要忽略他们。通常对这类用户同时问“为什么愿意推荐”“是什么阻止了更高的推荐意愿”。

5、NPS在实操过程中的复杂性

1)🏠一个分数无法简单衡量用户体验,需要结合场景
用户体验本质是多环节、多场景的。越场景化、具体化,用户主观打分会越准确、越有实操性。衡量用户体验还是必须建立覆盖重点场景和环节的指标体系,而不是只看单一的综合性指标。

2)🏠询问NPS分数的理由,目的是找出关键的满意因素和不满因素,而无法衡量全盘的用户体验。要达成后者,需要通过对各个环节的单独测量。所以,不要期待用推荐/不推荐这道问题,得出各个环节的体验问题。
🌰反例:某公司在“发现”页的NPS调研问卷中,把“广告质量好”作为推荐理由的一个选项。但用户不会因为广告质量好就推荐给其他人使用的。设置这个问题可能是迫于压力衡量发现页的广告体验,但是使用了不合理的衡量方法。

3)🏠拿着NPS分数与行业、竞品对比
不同调研机制之下的结果严格来说是不可比的。调研机制(目标人群定义、抽样方式、样本加权方式、投放时间、投放渠道、问题设问、问卷UI)不同,极大影响了分数。
拿着NPS分数与行业、竞品对比,会产生极大的误解和隐患,除非是所有竞品都使用了一致的调研机制平台,NPS才有参考意义。

所以,在可用性测试中完成任务后对产品做的NPS问卷,因为任务是假设了场景的,更重要的是得到的NPS是一个参考,更深的原因还需深挖。

参考资料:

1、Net Promoter Score Considered Harmful (and What UX Professionals Can Do About It)

2、《作为用研对NPS调研的真心话大吐槽

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章