信度不達標的處理方式


在進行問卷研究時,特別是問卷中有非常多的量表題時,數據質量是基礎保障,問卷研究中排在最前面的即爲數據質量分析,通常包括信度和效度分析。本身進行信度或者效度分析並非難事,但最難的事情在於如果信度或者效度不達標應該如何處理。

接下來慢慢闡述信度分析(下一篇文章闡述效度分析),以及信度分析時的處理方法,如何解決出現的問題等。本書中使用的較多內容參考於“問卷數據分析-破解SPSS的六類分析思路”一書,以及使用網頁版本在線spss軟件spssau進行操作說明等。


信度分析,即研究樣本數據是否真實可靠,通俗來講即研究樣本是否真實回答各個題項。如果樣本沒有真實回答,信度肯定不達標,而有時即使樣本真實回答,信度也不一定達標。信度分析可以分爲四類,分別是:α信度係數、折半信度、複本信度和重測信度。


(1) α信度係數,即內部一致性係數。此類信度分析最爲常見,基本上所有問卷信度分析均會使用此類分析。通過軟件計算出α信度係數值,並且用其進行信度水平判斷。進行此分析前,首先需要對反向題進行反向操作,並且α信度係數的測量通常以最小的維度爲準,而非大維度。

一般來講:α係數最好在0.8以上,0.7~0.8之間屬於可以接受範圍,而分量表的α信度係數希望在0.7以上, 0.6~0.7之間可以接受。如果α信度係數低於0.6則考慮修改量表。從α信度係數計算公式來看,維度對應的題項越多,以及樣本量越多時,此值會越大。從筆者經驗來看,如果某個維度僅由三個或者兩個題項組成,並且樣本量在200以下時,那麼α信度係數通常會較小(低於0.6)。1個題項表達的維度無法進行α信度係數計算。

α信度係數是問卷信度分析中最爲常見的分析方法,絕大多數時候使用α信度係數進行信度測量即可,筆者建議使用α信度係數進行問卷信度測量,問卷前測也類似,但問卷前測時會結合CITC和刪除某項後的信度係數值進行判斷是否修正或者刪除題項,通常來講,CITC值低於0.4,或者刪除某項後的信度係數值反而上升0.1左右時應該考慮對題項進行修正或者刪除處理。

特別提示:α信度係數(內部一致性係數)是最爲常見的信度測量方法。

(2) 折半信度。折半信度是將維度對應的題項按照單雙號分成兩組,通過計算兩組題項間的相關係數,進而再通過公式計算得到折半信度係數值,並且進行衡量信度質量。心理學、教育學類經典量表常使用此類方法進行信度質量衡量。判斷標準可參考α信度係數的衡量標準。此類分析方法較爲少見。

(3) 複本信度。複本信度是同樣一組樣本,一次性回答兩份問卷,比如同樣一組學生連續做兩份同樣難度水平的試卷。然後通過計算兩份樣本相關係數,從而進行信度質量衡量,由於實際操作過程中有諸多客觀條件限制,此類分析方法較爲少見。

(4) 重測信度。重測信度指同樣的樣本,在不同的時間點回答同樣一份問卷。繼而計算兩份數據的相關係數,並且通過相關係數去衡量信度質量。重測信度可以評估時間差異帶來的誤差,但實際操作中有諸多不便,因而此類分析使用較少。


上述四種信度方法,正常情況下是使用第一種研究,第二,第三和第四種信度研究方法非常少見,使用場景上通常爲實驗式或者非常複雜的研究中會使用到。第一種信度即α信度係數的測量最爲常見。以網頁版本spssau軟件爲例,將同一維度對應的題項拖拽到右側即可。特別提示下,信度分析是以維度爲單位進行分析,一個維度一定需要對應多個題項纔可以,一個題項無法做信度分析。以spssau爲例,共1個維度叫做‘課程質量’對應3項,進行操作如下:


點擊分析得到結果如下,包括表格和智能分析。



1.表格中共包括三列,分別是CITC值,刪除項後的信度係數值,整體信度係數值。事實上,我們進行信度分析時,更關注於整體信度係數值。首先分析α係數,如果此值高於0.8,則說明信度高;如果此值介於0.7~0.8之間;則說明信度較好;如果此值介於0.6~0.7;則說明信度可接受;如果此值小於0.6;說明信度不佳;

2.如果說有發現整體信度係數值不達標,此時此應該關注於CITC和刪除項後信度係數值這兩個指標。如果CITC值低於0.3;可考慮將該項進行刪除;如果“項已刪除的α係數”值明顯高於α係數,此時可考慮對將該項進行刪除後重新分析。刪除相關項後再次進行分析即可。直至信度係數高於0.6,當然這一過程在spssau中也可以直接智能化,可參考使用。


信度分析的操作非常簡單,但當數據出現問題之後如何處理,這纔是關鍵。書籍中將解的內容都以高質量數據作爲案例,但現實中數據質量通常會‘出乎意料’。


本文總結出信度不達標的幾種情況,以及對應的處理辦法。

1.整體α信度信度係數值小於0;

2.整體α信度信度係數值介於0~0.5之間;

3.整體α信度信度係數值介於0.5~0.6之間。

接着對應講解三種情況的處理辦法:

1.如果說α信度信度係數值小於0,請查看是否有反向題。何爲反向題?比如有5個題表示1個維度;其中4個題數字越大說明越喜歡運動,另外1個題數字越大說明越不喜歡運動,那麼此項即爲反向題。需要先進行數據編碼,反向處理後,使用反向處理後的數據進行信度分析。

2.整體α信度係數值介於0~0.5之間時,此時說明信度有點'不可救藥',出現此類情況通常原因有3種。一是用錯方法,信度分析只針對量表題,但非量表題都放進去分析;二是問卷設計質量太糟糕,量表題的設計隨心所欲完全不帶一點參考;三是樣本量少(比如小於50)並且一個維度僅對應2個題項,樣本少信度係數值相對會較低。無論是那種情況,解決流程均是:結合CITC值和項已刪除後的信度係數值,先刪除掉很糟糕項,然後再接着依次循環,直至信度係數可接受可止。

3.整體α信度係數值介於0.5~0.6之間。如果說分析項僅2個,此時只能接受這種事實。如果分析項爲3個或者更多,此時則需要結合CITC值進行處理,刪除掉CITC值小於0.3的項後再次進行分析,以及結合’項已刪除後的信度係數值‘這個指標進行刪除分析項。如果說分析項僅爲2個,此時沒有其它辦法,要麼接受要麼直接放棄掉該維度。

在進行信度分析時,如果說確實是量表項,而且數據真實,事實上很少會再現問題。但有兩種情況是需要提前注意:

1.不知道量表數據才能進行信度分析。這種情況最糟糕後續是無法進行分析的。即不能使用研究方法使用客觀數據指標描述清楚信度情況,可以考慮使用文字描述數據的收集過程和收集方式等,以證明數據真實可靠,即信度可靠。

2.量表數據自己亂設計,量表是相對規範的一種測量題項,需要有較強的參考文獻,而且一個維度對應的量表要來自於同一個參考出處。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章