夜深人靜，你卻煩躁不安。一頭是調研報告的最後期限，一頭是調查數據的百思不解。因子、迴歸、聚類、判別都使用過了，神經網絡、關聯規則和決策樹也嘗試好多次了，可面前的這堆數據還是無法解釋。你打一個哈欠，將菸頭狠狠地擰在菸灰缸上，然後起身衝下了今晚的最後一杯咖啡。你知道這一杯下去，天就要亮了。接下來的白天，你要先忍受老闆的臭罵，再接受客戶的罰款。想到這裏，你可能再也忍不住了，大聲地爆出兩句粗口。罵那個狗日的督導不稱職，罵那些兔崽子訪問員又造假。
如果能在問卷整理的時候就及時發現問題，那麼你就不會在deadline的前夜被劣質的數據折磨的如此狼狽不堪。現在，我分享一下數據抓鬼的三班斧，一來能幫你審覈數據、辨識真假，使得從統計祕籍上學來的分析招數能有用武之地；二來也能間接自律一下前線的調研，順便整治一下市調行業的不良之風。
第一招：設置同質題目，一個問題，多處提問。
同質題目是指一個問題在問卷中設置兩種問法，對一個受訪者訪問兩次，只要這兩個答案不一致，哈哈虛假數據！比如：年齡和身份證號碼一起問，小孩的年齡與年級一起問。還有就是利用態度量表，設計正反問法。舉例如下：在一份測度啤酒消費習慣的態度量表中，問題 1和問題5是一對同質問題，只是1是正向詢問，5是反向詢問。
|
問題 |
非常吻合 |
比較吻合 |
不太吻合 |
與表述相反 |
|
1.我很喜歡喝啤酒 |
1 |
2 |
3 |
4 |
|
…… |
1 |
2 |
3 |
4 |
|
5.要不是應酬的需要，我絕對不喝啤酒 |
1 |
2 |
3 |
4 |
當某個案，問題1與問題5的選項之和超出【4，6】的範圍，我們可以判定是虛假個案。比如：問題1選1，問題5選2，兩者相加得分爲3；問題1選3，問題5選4，兩者相加得分爲7。3分和7分都超出了所能容忍的範圍，判處該個案死刑。
第二招：測度選項比例，判定虛假。
一般來說，通過分析每一份個案中同一選項的比例，可以發現虛假數據。比如，在某個30道題目的調查問卷中，某選項的比例超過70%，比如70%的選項全是C，則可將該份問卷判定爲虛假問卷。同理，通過計算某個訪問員所有調查問卷中選項的比例，如果某一項的比例超過閥值，則可以認定該訪問員造假。那麼不要手軟，堅決對該訪問員判死刑。
第三招：測度總分分佈，衡量整體質量。
這裏重點介紹如何通過測度數據的分佈，來判定調查問卷數據的可靠性。以滿意度調查爲例。在對數據量表量化之後，可以計算出每個個案所有量表的總分。比如，一共有30題，每題的得分範圍爲1-10分。那麼總分的理論取值範圍就是30-300。如果我們一共收集了500份問卷，那麼就應該有500個總得分。理論上講，一項服務的滿意度應該服從正態分佈。因爲大多數被訪者的評價應該差不多，高分和低分的評價應該比較少。當然，這只是經驗判斷。那麼現在我們來看，調查結果的總得分分佈，如果接近正態分佈，則可以說明該調查數據是可信的。如果數據遠遠偏離正態分佈，則認爲該數據存在比較嚴重的質量問題。這樣任何分析都是沒有意義的，應該對本次調查判死刑。
招外招：記錄填寫時間，越短越可疑。
最後，分享一個招外招。如果你做的是網絡調查，那麼這一招很管用，堪稱絕招。具體做法就是系統自動記錄用戶的答題時間。如果用戶答題所用的時間很短，則認爲該用戶純粹是在騙獎品。如果你們的服務器很牛b，牛b到可以記錄被訪者填寫每一道題目的時間耗費，那麼縱然李鬼潛伏的再深，也得乖乖束手就擒。
抓鬼三招，一招接一招，招招致命！潛伏再深，招外還有招，乖乖就擒！