Multiple comparison

Introduction

     在做多重比較（multiple comparison）時，由於要在同一個數據集上檢驗多個結論，會導致犯第一類錯誤的概率大大增加。假設只做一次檢驗時的顯著性水平爲0.05，即接受備擇假設的允許犯錯概率爲5%，那麼保留原假設的犯錯概率就是95%. 如果在同一個數據集上做了n次獨立檢驗，那麼n次都不犯第一類錯誤的概率是（0.95）^n，於是這n次中至少有一次犯了第一類錯誤的概率是1－（0.95）^n. 當n增大時，顯然1－（0.95）^n也會增大，例如當n＝10，1－（0.95）^10=0.40（約等於）, 即對同一數據集做10次檢驗假設的犯錯概率上升爲40%，遠遠大於實際可以忍受的5%的犯錯概率。

Methods

（1）Bonferronni校正

            α'≈α/c;

       在這一修正下，單次檢驗的顯著性水平設定爲總體的顯著性水平（如0.05）的1/n （如n＝10，則單次檢驗的接受概率變爲0.005）。在各次檢驗獨立的情況下。Bonferroni修正實際上是更一般的Sidak修正的Taylor展開式的第一項，因而更保。Bonferroni correction 在概率論上的一個理論基礎是Boole's inequality, 即布爾不等式。這是說，假定一些事件組成了一個可數的集合，那麼這集合中的至少一個事件發生的概率不大於每個事件發生的概率的和。

（2）Sidak校正

       α'=1-(1-α)^c 
       α’ 是開頭講的1類累計誤差；則公式可以變形爲:
       α=1-(1-α’)^1/c 
       這方法用在當確定了我們需要的顯著性水平α後，來求實際的α值，將我們確定的α帶入α’中，如前面的例子α=0.05，帶入α’中，求得1-(1-0.05)^1/10 =0.005；則實際我們用的α值應設爲0.00512619…，也就約等於0.005。和Bonferonni的結果近似，0.05/10=0.005 。但是α=1-(1-α’)^1/c ≧ α’/c,這裏也看出了Bonferonni校正過於保守。

       《From: Hervé Abdi: The Bonferonni and Šidák Corrections forMultiple Comparisons.》

（3）Hochberg校正

       將原始P 值按照大小排序:p(1) ≦ p(2)… ≦ p(k) ≦p(m);k從1到m;
       p(k) ≦α/ (m - k+ 1); 
       the largest k ;
       《From: Hochberg, Yosef (1988). “A Sharper Bonferroni Procedure for Multiple Tests of Significance”》

（4）FDR校正

      Benjamini和Hochberg(1995)提出了一種新的錯誤測度FDR。

      sort p-values in ascending order

      for i← 1 tonumber of p-values do

      if pi> (i÷ numberof p-values) ×α

      return (i÷ numberof p-values) ×α

      《From： Chih-HaoHsu, Yu Zhang, Ross Hardison, and Webb Miller：Whole-Genome Analysis of Gene Conversion Events》

（5）BH校正——加權

      Weighted version
      Let p1,..., pk be the unadjusted p-values and let w1,..., wk be a set of corresponding positive weights that add to 1. Without loss of generality, assume the p-values and the weights are all ordered such that p1/w1 ≤ p2/w2 ≤ ... ≤ pk/wk.The adjusted p-value for the first hypothesis is q1 = min{1,p1/w1}. Inductively, define the adjusted p-value for hypothesis i by qi = min{1,max{qi−1,(wi + ... + wk)×pi/wi}}. 

   《From wiki》