如何計算假設檢驗的功效(power)和效應量(effect size)?

做完一個假設檢驗之後,如果結果具有統計顯著性,那麼還需要繼續計算其效應量,如果結果不具有統計顯著性,並且還需要繼續進行決策的話,那麼需要計算功效。

 

功效(power):正確拒絕原假設的概率,記作1-β。

假設檢驗的功效受以下三個因素影響:

  • 樣本量 (n):其他條件保持不變,樣本量越大,功效就越大。
  • 顯著性水平 (α): 其他條件保持不變,顯著性水平越低,功效就越小。
  • 兩總體之間的差異:其他條件保持不變,總體參數的真實值和估計值之間的差異越大,功效就越大。也可以說,效應量(effect size)越大,功效就越大。

 

應用:根據顯著性水平α,效應量和樣本容量n,計算功效。

(可用G*Power或Statsmodels計算)

單樣本t檢驗:statsmodels.stats.power.tt_solve_power(effect_size=Nonenobs=Nonealpha=Nonepower=Nonealternative='two-sided')

獨立樣本t檢驗:statsmodels.stats.power.tt_ind_solve_power(effect_size=Nonenobs1=Nonealpha=Nonepower=Noneratio=1.0alternative='two-sided')

卡方檢驗:statsmodels.stats.power.GofChisquarePower.solve_power(effect_size=Nonenobs=Nonealpha=Nonepower=Nonen_bins=2)

F檢驗:statsmodels.stats.power.FTestPower.solve_power(effect_size=Nonedf_num=Nonedf_denom=Nonenobs=Nonealpha=Nonepower=Nonencc=1)

方差分析:statsmodels.stats.power.FTestAnovaPower.solve_power(effect_size=Nonenobs=Nonealpha=Nonepower=Nonek_groups=2)

 

效應量(effect size): 樣本間差異或相關程度的量化指標。

效應量通常用三種方式來衡量:(1) 標準均差(standardized mean difference),(2) 機率(odd ratio),(3) 相關係數(correlation coefficient)。

 

這裏說一下第一種:標準均差(standardized mean difference)。主要有以下幾種指標:

 

Cohen’s : 兩總體均值之間的標準差異。適用於兩組樣本的樣本量和方差相似的情況。

計算公式:cohen's d effect size

其中:cohen's d calculation

 

 

Hedges’ g是cohen的方法的改進,適用於兩組樣本的樣本量不同的情況。

計算公式:hedges' g method of effect size

其中:standard deviation

 

Glass’s Δ (delta)和cohen的方法類似,但是隻除以控制組的標準差。適用於兩組樣本的方差不同的情況。

計算公式:glass' A method of effect size

 

Cramer’s φ (Phi) or Cramer’s V用於測算類別型數據的效應量。當類別型變量包含2個類別時,使用Cramer’s phi,如果超過2個類別,那麼使用Cramer’s V。

 

Cohen’s f2: 用於測算方差分析,多元迴歸之類的效應量。

計算公式:cohen's f2 method of effect size

 

應用:根據顯著性水平α,功效和樣本容量n,計算效應量。

(可用G*Power或Statsmodels計算)

單樣本t檢驗:statsmodels.stats.power.tt_solve_power(effect_size=Nonenobs=Nonealpha=Nonepower=Nonealternative='two-sided')

獨立樣本t檢驗:statsmodels.stats.power.tt_ind_solve_power(effect_size=Nonenobs1=Nonealpha=Nonepower=Noneratio=1.0alternative='two-sided')

卡方檢驗:statsmodels.stats.power.GofChisquarePower.solve_power(effect_size=Nonenobs=Nonealpha=Nonepower=Nonen_bins=2)

F方差齊性檢驗:statsmodels.stats.power.FTestPower.solve_power(effect_size=Nonedf_num=Nonedf_denom=Nonenobs=Nonealpha=Nonepower=Nonencc=1)

方差分析:statsmodels.stats.power.FTestAnovaPower.solve_power(effect_size=Nonenobs=Nonealpha=Nonepower=Nonek_groups=2)

 

以上兩種應用都屬於事後檢驗(post hoc)。除此之外,還有一個應用就是:根據顯著性水平α,功效和效應量,計算樣本容量n。這屬於事前檢驗(prior)。具體請見:《如何確定假設檢驗的樣本量?》

 

參考:

https://wenku.baidu.com/view/d78a82ecb9d528ea80c7792c.html

https://www.statisticssolutions.com/statistical-analyses-effect-size/

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章