問卷調查法的應用

一、爲何選擇問卷調查法

產品方對於此次用研項目提出的需求如下:

初看上去,需求比較多、比較雜,似乎無法用一個方法解決所有問題。經過反覆和產品方的溝通交流,就能挖掘出他們心中最希望瞭解的內容。再整理一下,就變成下面的表格:

最終結果除了要展示出網易XX用戶的上述情況,還涉及對調查對象的多種分類,以及不同類別用戶在具體題目上的橫向比較——這可能更爲重要。

問卷調查法特別適用於調查:用戶的使用目的、使用行爲習慣態度和觀點人口學信息;不適合探索用戶新的、模糊的需求。

所以,此次調研項目適宜於選擇問卷調查法作爲主要方法(同時選用訪談法、運營數據作補充參考)。

二、問卷素材的來源和依據

1.二手資料(已有的理論、報告及行業資訊)

2.自己的使用體驗、競品分析

需要把自己培養成產品的深度用戶,並且還要堅持使用競爭產品。這樣有助於形成自己對產品的直覺和感性認識。

而競品分析能幫助自己對產品有更充分的理解,讓我們從感性認識中提煉出理性看法,同時確保能全面地細緻地審視(不會遺漏重要細節)。

3.對產品設計人員、普通用戶的簡單訪談

“三人行,必有吾師”,自學完了,再讓產品設計人員、普通用戶教你一些知識吧。

此時的訪談採用輕鬆聊天的形式(半結構式),訪談的對象也是方便取樣、就近選擇——目的不在於得出什麼結論,更多地是幫助自己進一步加深理解、窮盡多種可能性,爲編寫問卷做準備。

而且對於產品設計人員的訪談,還能順便獲悉產品部門工作流程、組織架構、人員配置、可動用的資源等信息——看似無關緊要,其實能使我們最終調查報告的建議更有針對價值!

三、問卷細節

1.指示性說明

社會調查類的教科書裏通常要求我們寫上長長的一大段說明文字,但在互聯網上有多少人會認真看一大坨文字?看看《don’t make me think》作者如何做的:從103個單詞刪減到41個單詞(該書中文第二版,P34)!非必要信息不得出現在問卷的指示性說明中

需要提及的核心信息無非就這幾個:A.目的:幫助改進網易XX,也歡迎非網易用戶作答   B.時間:3-5分鐘  C. 匿名和保密  D.有獎:通過質量檢核的完整答卷可參與抽獎

2.題目編制思路

3.題目設置需注意的細節

1) 簡潔、明確:有時這兩者是個矛盾,但儘量做到平衡。

【例子】 您使用XX的歷史多久?——簡潔

您第一次使用XX是什麼時候?——簡潔、通俗

您第一次使用XX(不一定是目前最常用的這個)是什麼時候?——稍微犧牲了“簡潔”,但是更“明確”!

2) 態度中立、無誘導性

【例子】 您對目前常用的XX滿意嗎?

您對目前常用XX的滿意程度爲?

4.選項設置需注意的細節

1) 選項互斥

【例子】 您平時上網較常瀏覽的內容爲?

A.熱點/頭條新聞    B.娛樂八卦  C.時事政治   D.遊戲/動漫 ……

選項A原本是爲了對應於“每天都會看新聞頭條、但對於內容領域沒有特別偏好”的這樣一部分人的行爲;但A選項與後面選項存在着重疊,尤其A與C重疊的程度非常高。於是,刪除C選項,把A選項改爲“時事新聞”。

2) 包含所有的可能

能否做到這一點,就反映出準備階段的工作是否充分。當懷疑選項設置可能不全時,可以再去找產品、設計、運營人員探討、覈對。

此外,可以設置【其它________】選項,以確保用戶始終可以作出選擇;同時,選擇【其它_______】選項的比例高低也反映了選項設置是否全面。

3) 用戶易理解

【例子】詢問用戶使用的手機操作系統時,選項“iOS(iPhone)、symbian(塞班)”就比“iOS、symbian”更容易理解,雖然前一種表達貌似不倫不類。

4) 變量的測量類型

實際工作中,只大體區分爲“類別變量”和“連續變量”兩大類。就統計測量層次上來說, “連續變量”比“類別變量”級別高,包含信息豐富,也可以使用稍高級的統計方法。所以,可能的情況下,儘量讓選項“變爲連續變量”。

【例子】 想了解用戶平時分享站外內容的情況,兩種選項設置(後一種更好):

A.分享    B.不分享

A.頻繁    B.經常    C.一般    D.很少    E.從不

5)  態度中立、無誘導性

【例子】選項“時事政治”改爲“時事新聞”;“憤青”改爲“熱衷點評時政的普通人”

6) 隨機順序呈現

若選項爲事實性的、類別變量,而非按程度順序遞進的連續變量,那麼選項應該隨機順序呈現給答題者,這樣可以排除首尾選項或中間選項更易被選擇的傾向

5.避免反應心向

反應心向是指回答問卷的人具有一種比較固定的作答傾向。有時可能是有意識的:討好出題者;給別人留下好印象。有時可能是無意識的:習慣回答“是”、“同意”;社會讚許性——避免社會文化規範裏不贊同、或負面的評價;迴避、防衛敏感隱私問題或社會禁忌話題。

在線下、面對面、有獎品的答題環境下,更易發生有意識的反應心向的問題。在互聯網上、匿名的情況下,有意識的反應心向會減弱很多,無意識的反應心向也可以通過以下努力得到緩解。具體做法如下:

1) 指示性說明部分:強調匿名和保密;強調認真、如實回答才能參與抽獎。

2) 問卷中:非必要情況下,不要求用戶填寫收入狀況、手機號碼。即便確實是調查所需,也要說明緣由,且保留用戶自主決定是否回答的權利。

3) 問卷中:設計一些呼應的題目互相印證;並且可以適當採用反向計分的方式。

4) 數據分析時:涉及自家產品和別家產品的滿意度、好感度等這些態度評價的比較時,一定要小心得出結論(可能存在反應心向,用戶對自己產品的評價很好)。

6.建立不同問題、選項間的呼應

一方面,可以互相印證,提升問卷的信度(當然,沒必要僅僅爲此而增加題量——得不償失)。另一方面,便於在統計分析時採用交叉分析/列聯表的方法——這會爲你的調查報告在“豐富、準確、有價值”方面提升很多!

【例子】“選擇目前這家XX作爲您最常用的XX的主要原因爲?”、“您對目前最常用這個XX主要不滿之處爲?”這兩個題目的結果可以用來互相印證

【例子】“您在XX上比較關心什麼類型的人?”“您在XX上感興趣的內容爲?”這兩個題目可以用來做交叉分析能找出“人”和“內容”最典型、最具代表性的組合

7.題目的排序

總體的題目排序原則如上,有時也要考慮一些特殊情況,比如“接觸產品時間有先後關係、操作流程有特定的順序”,此時局部的題目則按“時間/流程先後”排序。

8.問卷題量

先看問卷法和量表法的區別:

可以這樣通俗地理解:量表是許多專家、花了大量精力在編制環節(工具本身的信效度很高);測試時需要的樣本量稍小一些,就能達到研究目的。問卷原本就需要大量代表性的樣本才能實現目的,況且問卷本身的信效度還欠佳,更需要大量樣本了。

爲了得到大量的樣本,且希望數據質量較高,問卷本身就會受到限制——題量要偏少。實際工作中,將問卷總題目數控制在25題之內,平均答題時間不超過300秒(事後統計)。

四、預測試

經過了這麼細緻和長久的準備,似乎不會再有問題,迫不及待地想要投放問卷了。且慢!智者千慮,必有一失。此時應該再找一些產品/設計人員、普通用戶來預測試一下(方便取樣、最好找之前沒有參與過討論的人)。依據個人經驗,這個環節還是能檢查出一些遺漏問題的。

【例子】問卷中的一題:“您在XX上查找他人的方式爲?”自我感覺選項中已經列舉了各種常用方式,一位交互設計師在預測試時問我:爲何沒有“直接搜索找人”選項?原來我忽略了這個最直接、原始的查找方式。

五、問卷投放

除了問卷本身的質量,直接影響調查成敗的因素就是樣本質量(實際也就是問卷投放策略的考慮)。順便總結一下,量表調查法最重要的是工具本身(量表的質量、常模指標)和高級統計方法實驗法最重要的是控制和操控(對無關變量的控制、對自變量的操控);而問卷調查法最重要的是樣本(樣本量足夠大,且具有代表性)。想要樣本量大,就儘可能多地動用投放渠道,當然還有些投放小技巧(越處於操作流程結束後、入口文案的排版越獨立,反饋問卷的打開率越高,詳見taobao UED渡劫的《賣家反饋的影響因素的量化研究》)。

這邊着重談一下樣本代表性的問題。首先得承認,網上投放問卷不是完全隨機抽樣,我們無法苛求調查對象的各種特徵完全匹配現實生活中的總體,但是,我們要儘可能爭取覆蓋到不同類別用戶羣,以具有更大代表性。

【例子】此次調查,我們除了想知道網易XX用戶的情況,我們還希望能夠了解新浪、騰訊、其它XX用戶的情況。爲此,我們做了以下努力:

1)  除了在網易門戶投放問卷,我們希望儘可能擴大站外投放渠道比例,比如:全國各大論壇、一些搜索引擎頁面、視頻網站頁面等,甚至最好能投放到其它門戶網站(當然實際上不可能花這麼多代價)。

2) 當推廣和市場部門的同事希望問卷的點擊圖片包含“網易XX”的字眼(可順便起到廣告宣傳的作用)。對此,我堅決反對,因爲這樣無疑會嚴重影響“新浪、騰訊、其它XX用戶”的點擊。

3) 在論壇投放問卷鏈接,市場的同事採用軟文帖的形式,大意是“目前XX產品很火,大家可以去通過此問卷能瞭解XX產品”,寫得幽默風趣、激發看帖人的好奇心。有同事不認可這種做法,認爲不符合問卷指示說明的規範,可能會對用戶作答產生影響。但我個人反而認爲這是個比較好的技巧。首先,在工作中是不可能完美地遵循到所有的原則,一定要有“主要矛盾、和矛盾的主要方面”的辯證思維方式,必要的時候須權衡利弊綜合考慮。比如,此時我們最重要的目標是一定要覆蓋到“新浪、騰訊、其它XX的用戶羣”,且數量還不能少。其次,看那種帖的時候,用戶是採用的“掃描”而非“仔細閱讀”的方式,頂多動用的是瞬時記憶,等跳轉了頁面、再閱讀正式的問卷指示說明及填寫問卷時,之前的瞬時記憶的影響很小。第三,問卷中讓用戶表達直接態度的題目較少,更多地是事實性的問題,這些問題本身難以受到誘導出現系統性的偏差。第四,我們整理數據時,還有一系列事後的數據檢核手段。

4) 設置自動的隱含題目,能區分來自各投放渠道的樣本量(尤其是區分網易站內、站外)。

六、數據整理

通常數據的檢核需刪除不完整答卷、多選題全選的答卷、邏輯矛盾的答卷;準確且豐富的篩查手段有助於進一步提高數據的質量(這一步可以在excel或者SPSS上完成)。

另外,還需要根據“答題時長”來篩除問卷(太短反映了不認真,太長反映了答題時受外界干擾較多)。採用SPPS中箱形圖的分析,可以清楚地看到“答題時長”這個指標上的偏離值和極端值,及它們對映的問卷ID編號,這樣就能很方便地刪除了。

七、統計分析

問卷調查法因爲變量的測量類型限制,可用的統計方法比較低級,描述性統計居多,有時會用到交叉分析、卡方檢驗(偶爾還可以用到相關分析、方差分析)。回過頭來,再次說明問卷編制階段就要考慮好可能用到的統計方法、以及如何儘可能地讓選項設置爲連續型的變量。

這個環節雖不像前面的環節直接關係調查的成敗(因爲有反覆嘗試的機會),但若能夠合理且充分地利用統計技術,將會給最終報告的價值帶來很大的提升。這與用研人員的專業素養有很大關係,需長期不斷努力才能提升,此處不細談。

八、總結

看似簡單的問卷調查,要能做好且讓它發揮最大價值,確實有很多細緻的、值得推敲之處。一次用研項目(不管是不是問卷調查法),前期的準備和計劃都非常重要,磨刀不誤砍柴工!

說明:出於對公司產品保密的考慮,隱去有關信息。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章