做完一個假設檢驗之後,如果結果具有統計顯著性,那麼還需要繼續計算其效應量,如果結果不具有統計顯著性,並且還需要繼續進行決策的話,那麼需要計算功效。
功效(power):正確拒絕原假設的概率,記作1-β。
假設檢驗的功效受以下三個因素影響:
- 樣本量 (n):其他條件保持不變,樣本量越大,功效就越大。
- 顯著性水平 (α): 其他條件保持不變,顯著性水平越低,功效就越小。
- 兩總體之間的差異:其他條件保持不變,總體參數的真實值和估計值之間的差異越大,功效就越大。也可以說,效應量(effect size)越大,功效就越大。
應用:根據顯著性水平α,效應量和樣本容量n,計算功效。
(可用G*Power或Statsmodels計算)
單樣本t檢驗:statsmodels.stats.power.
tt_solve_power
(effect_size=None, nobs=None, alpha=None, power=None, alternative='two-sided')
獨立樣本t檢驗:statsmodels.stats.power.
tt_ind_solve_power
(effect_size=None, nobs1=None, alpha=None, power=None, ratio=1.0, alternative='two-sided')
卡方檢驗:statsmodels.stats.power.GofChisquarePower.
solve_power
(effect_size=None, nobs=None, alpha=None, power=None, n_bins=2)
F檢驗:statsmodels.stats.power.FTestPower.
solve_power
(effect_size=None, df_num=None, df_denom=None, nobs=None, alpha=None, power=None, ncc=1)
方差分析:statsmodels.stats.power.FTestAnovaPower.
solve_power
(effect_size=None, nobs=None, alpha=None, power=None, k_groups=2)
效應量(effect size): 樣本間差異或相關程度的量化指標。
效應量通常用三種方式來衡量:(1) 標準均差(standardized mean difference),(2) 機率(odd ratio),(3) 相關係數(correlation coefficient)。
這裏說一下第一種:標準均差(standardized mean difference)。主要有以下幾種指標:
Cohen’s d : 兩總體均值之間的標準差異。適用於兩組樣本的樣本量和方差相似的情況。
計算公式:
其中:
Hedges’ g: 是cohen的方法的改進,適用於兩組樣本的樣本量不同的情況。
計算公式:
其中:
Glass’s Δ (delta): 和cohen的方法類似,但是隻除以控制組的標準差。適用於兩組樣本的方差不同的情況。
計算公式:
Cramer’s φ (Phi) or Cramer’s V: 用於測算類別型數據的效應量。當類別型變量包含2個類別時,使用Cramer’s phi,如果超過2個類別,那麼使用Cramer’s V。
Cohen’s f2: 用於測算方差分析,多元迴歸之類的效應量。
計算公式:
應用:根據顯著性水平α,功效和樣本容量n,計算效應量。
(可用G*Power或Statsmodels計算)
單樣本t檢驗:statsmodels.stats.power.
tt_solve_power
(effect_size=None, nobs=None, alpha=None, power=None, alternative='two-sided')
獨立樣本t檢驗:statsmodels.stats.power.
tt_ind_solve_power
(effect_size=None, nobs1=None, alpha=None, power=None, ratio=1.0, alternative='two-sided')
卡方檢驗:statsmodels.stats.power.GofChisquarePower.
solve_power
(effect_size=None, nobs=None, alpha=None, power=None, n_bins=2)
F方差齊性檢驗:statsmodels.stats.power.FTestPower.
solve_power
(effect_size=None, df_num=None, df_denom=None, nobs=None, alpha=None, power=None, ncc=1)
方差分析:statsmodels.stats.power.FTestAnovaPower.
solve_power
(effect_size=None, nobs=None, alpha=None, power=None, k_groups=2)
以上兩種應用都屬於事後檢驗(post hoc)。除此之外,還有一個應用就是:根據顯著性水平α,功效和效應量,計算樣本容量n。這屬於事前檢驗(prior)。具體請見:《如何確定假設檢驗的樣本量?》。
參考:
https://wenku.baidu.com/view/d78a82ecb9d528ea80c7792c.html
https://www.statisticssolutions.com/statistical-analyses-effect-size/