原文地址：http://blog.csdn.net/gdyflxw/article/details/54141629
置換檢驗
雙樣本均值檢驗的時候，假設檢驗的方法就是，檢查正態性、獨立性、方差齊性，分別對應的參數非參數方法進行假設檢驗，但是，這些方法都要求樣本數必須有多少多少，但是，由於試驗時，各種條件的限制，導致樣本量過小，此時以上方法幾乎都會失真，置換檢驗就應運而生了。
Permutation test 置換檢驗是Fisher於20世紀30年代提出的一種基於大量計算 （computationally intensive），利用樣本數據的全（或隨機）排列，進行統計推斷的方法，因其對總體分佈自由，應用較爲廣泛，特別適用於總體分佈未知的小樣本資料，以及某些難以用常規方法分析資料的假設檢驗問題。在具體使用上它和Bootstrap Methods類似，通過對樣本進行順序上的置換，重新計算統計檢驗量，構造經驗分佈，然後在此基礎上求出P-value進行推斷。
置換檢驗的操作方法：假設有兩組待檢數據，A組有m個數據，B組有n個數據，均值差爲d0，現把所有數據放在一起進行隨機抽取，抽出m個放入A組，剩下n個放入B組，計算A、B兩組的均值差記爲d1，再放在一起進行隨機重抽m、n兩組，得到均值差記爲d2，重複這個步驟k次得到（d3……dk），於是d1……dk可以畫出一張正態圖，然後看d0落在什麼方，若落在置信水平之外，即可以顯著說明它們是有差異的。
R代碼如下：
a<-c(24,43,58,67,61,44,67,49,59,52,62,50,42,43,65,26,33,41,19,54,42,20,17,60,37,42,55,28)
group<-factor(c(rep("A",12),rep("B",16)))
data<-data.frame(group,a)
find.mean<-function(x){
mean(x[group=="A",2])-mean(x[group=="B",2])
}
results<-replicate(999,find.mean(data.frame(group,sample(data[,2]))))
p.value<-length(results[results>mean(data[group=="A",2])-mean(data[group=="B",2])])/1000
hist(results,breaks=20,prob=TRUE)
lines(density(results))
From：https://www.plob.org/article/3176.html
coin包置換檢驗
coin包介紹
coin包中的置換檢驗有以下幾種：
| 檢 驗 | coin函數 |
|---|---|
| 兩樣本和K樣本置換檢驗 | oneway_test(y ~ A) |
| 含一個分層（區組）因子的兩樣本和K樣本置換檢驗 | oneway_test(y ~ A | C) |
| Wilcoxon-Mann-Whitney秩和檢驗 | wilcox_test(y ~ A) |
| Kruskal-Wallis檢驗 | kruskal_test(y ~ A) |
| Person卡方檢驗 | chisq_test(A ~ B) |
| Cochran-Mantel-Haenszel檢驗 | cmh_test(A ~ B | C) |
| 線性關聯檢驗 | lbl_test(D ~ E) |
| Spearman檢驗 | spearman_test(y ~ x) |
| Friedman檢驗 | friedman_test(y ~ A | C) |
| Wilcoxon符號秩檢驗 | wilcoxsign_test(y1 ~ y2) |
注：在上表中，y和x是數值變量，A和B是分類因子，C是類別型區組變量，D和E是有序因子，y1和y2是相匹配的值變量
表中所有的函數使用方法都一樣：
functionName(formula,dataframe,distribution)，其中distribution指定經驗分佈在零假設條件下的形式，可能值有exact，asymptotic和approximate，若distribution = "exact"，那麼在零假設條件下，分佈的計算是精確的（即依據所有可能的排列組合）。當然，也可以根據它的漸進分佈（distribution = "asymptotic"）或蒙特卡洛重抽樣（distribution = "approxiamate(B = #)"）來做近似計算，其中#指所需重複的次數。distribution = "exact"當前僅可用於兩樣本問題。
原函數與置換檢驗比較
| 函數 | 簡介 | 程序及結果 |
|---|---|---|
| t.test() | 雙樣本均值t檢驗 |
> score <- c(40, 57, 45, 55, 58, 57, 64, 55, 62, 65) > treatment <- factor(c(rep(“A”, 5), rep(“B”, 5))) > mydata <- data.frame(treatment, score) > t.test(score ~ treatment, data = mydata, var.equal = TRUE) Two Sample t-test data: score by treatment t = -2.345, df = 8, p-value = 0.04705 alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: -19.0405455 -0.1594545 sample estimates: mean in group A mean in group B 51.0 60.6 |
| oneway_test() | 雙樣本均值置換檢驗 |
> oneway_test(score ~ treatment, data = mydata, distribution = “exact”) Exact Two-Sample Fisher-Pitman Permutation Test data: score by treatment (A, B) Z = -1.9147, p-value = 0.07143 alternative hypothesis: true mu is not equal to 0 |
| wilcox.test() | 雙樣本秩和獨立性檢驗 |
> wilcox.test(Prob~So,data=UScrime) Wilcoxon rank sum test data: Prob by So W = 81, p-value = 8.488e-05 alternative hypothesis: true location shift is not equal to 0 |
| wilcox_test() | 雙樣本秩和獨立性置換檢驗 |
> UScrime2 <- transform(UScrime, So = factor(So)) > wilcox_test(Prob ~ So, data = UScrime2, distribution = “exact”) Exact Wilcoxon-Mann-Whitney Test data: Prob by So (0, 1) Z = -3.7493, p-value = 8.488e-05 alternative hypothesis: true mu is not equal to 0 |
| aov() | 單因素方差分析 |
> library(multcomp) >summary(aov(response~trt,data=cholesterol)) Df Sum Sq Mean Sq F value Pr(>F) trt 4 1351.4 337.8 32.43 9.82e-13 *** Residuals 45 468.8 10.4 |
| oneway_test() | K樣本置換檢驗 |
> oneway_test(response ~ trt, data = cholesterol, distribution = approximate(B = 9999)) Approximative K-Sample Fisher-Pitman Permutation Test data: response by trt (1time, 2times, 4times, drugD, drugE) chi-squared = 36.381, p-value < 2.2e-16 |
| chisq.test() | 卡方列聯表均值差異檢驗 |
> chisq.test(xtabs(~Treatment+Improved,Arthritis)) Pearson’s Chi-squared test data: xtabs(~Treatment + Improved, Arthritis) X-squared = 13.055, df = 2, p-value = 0.001463 |
| chisq_test() | 卡方置換檢驗 |
> chisq_test(Treatment ~ Improved, data = transform(Arthritis, Improved = as.factor(as.numeric(Improved))),distribution = approximate(B = 9999)) Approximative Pearson Chi-Squared Test data: Treatment by Improved (1, 2, 3) chi-squared = 13.055, p-value = 0.0012 |
| mantelhaen.test() | 分層卡方檢驗，看是否把相關因素劃分出去 |
> mytable <- xtabs(~Treatment+Improved+Sex, data=vcd::Arthritis) > mantelhaen.test(mytable) Cochran-Mantel-Haenszel test data: mytable Cochran-Mantel-Haenszel M^2 = 14.632, df = 2, p-value = 0.0006647 |
| cmh_test() | 分層卡方置換檢驗，看是否把相關因素劃分出去 |
> cmh_test(mytable) Asymptotic Generalized Cochran-Mantel-Haenszel Test data: Improved by Treatment (Placebo, Treated) stratified by Sex chi-squared = 14.632, df = 2, p-value = 0.0006647 |
| cor() | spearman等級相關係數 |
> with(states,cor(Illiteracy,Murder,method=”spearman”)) [1] 0.6723592 |
| spearman_test() | 數值獨立性置換檢驗(兩數值變量獨立即不相關) |
> spearman_test(Murder~Illiteracy,data=states) Asymptotic Spearman Correlation Test data: Murder by Illiteracy Z = 4.7065, p-value = 2.52e-06 alternative hypothesis: true rho is not equal to 0 |
| t.test(paired=T) | 非獨立樣本的配對t檢驗，檢驗均值是否相等 |
> with(MASS::UScrime,t.test(U1,U2,paired=TRUE)) Paired t-test data: U1 and U2 t = 32.407, df = 46, p-value < 2.2e-16 alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: 57.67003 65.30870 sample estimates: mean of the differences 61.48936 |
| wilcoxsign_test() | wilcox符號秩置換檢驗，檢驗均值是否相等 |
> wilcoxsign_test(U1 ~ U2, data = MASS::UScrime,distribution = “exact”) Exact Wilcoxon-Pratt Signed-Rank Test data: y by x (pos, neg) stratified by block Z = 5.9691, p-value = 1.421e-14 alternative hypothesis: true mu is not equal to 0 |
| friedman_test() | 多組別獨立性置換檢驗，檢驗均值是否相等 |
> USc<-MASS::UScrime[,c(“U1”,”U2”)] > USc$U3<-sample(as.matrix(USc),47) >friedman_test(value~variable|ID,data=transform(reshape::melt(data.frame(USc,ID=seq(1,47)),id.vars=”ID”),ID=as.factor(ID))) Asymptotic Friedman Test data: value by variable (U1, U2, U3) stratified by ID chi-squared = 51.384, df = 2, p-value = 6.953e-12 |
coin包的介紹至此結束，當然還有一個lbl_test()函數未列出，暫時還不曉得有什麼用，以後再說。
lmPerm包置換檢驗
lmPerm包介紹
lmPerm包可以做非正態理論檢驗，包含的函數爲lmp()以及aovp()兩個，它們與lm()和aov()類似，只是多了一個perm參數（perm=”Exact”,”Prob”,”SPR”)，參數值”Exact”根據所有可能的排列組合生成精確檢驗，”Prob”從所有可能的排列中不斷抽樣，直至估計的標準差在估計的p值0.1之下，判停準則由可選的Ca參數控制，SPR使用貫序概率比檢驗來判斷何時停止抽樣。若觀測數大於10，perm=”Exact”會自動轉化爲perm=”Prob”，因爲精確檢驗只適用於小樣本問題。
因爲只涉及了兩個函數，這個包就不貼代碼和結果，僅說明一下差異是什麼，
迴歸（簡單、多項式、多元）
首先是lm與lmp，除了函數的用法多了個perm參數之外，所得結果模板（注意，是模板，而非結果，結果出現差異應該去找數據的問題，如兩者結果不一致，則需要重新審視數據的可靠性）存在差異：
1）少了常數項，但可以通過各變量均值求得，注意，使用coefficients(fit)所得的常數項是錯的！ 根據迴歸線必過均值點的定義，可以使用各變量的均值來計算其常數項。如多元分析中的例子計算方式爲：
mean(states$Murder)-sum(colMeans(states)[names(coefficients(fit)[c(-1)])]*(coefficients(fit)[c(-1)]))
2）迴歸係數項中多了Iter一欄，它表示要達到判停準則所需要的迭代次數。
方差分析
與迴歸一致，所有使用aov分析的地方都可以使用aovp來代替，區別就是，aov用的是F統計量，而aovp使用的是置換法，Iter爲判停準則的迭代次數。
需要注意的是，aovp使用的是唯一平方和方法，每種效應根據其它效應進行調整，而aov使用的是序貫平方平法，每種效應根據先出現的效應進行調整，這兩個方法在不平衡設計中所得結果不同，越不平衡的設計，差異越大。可以在aovp函數里加入參數seqs=TRUE可以生成序貫平方和的計算結果。
點評
置換檢驗真正發揮功用的地方是處理非正態數據（如分佈偏倚很大）、存在離羣點、樣本很小或無法做參數檢驗等情況。不過，如果初始樣本對感興趣的總體情況代表性很差，即使是置換檢驗也無法提高推斷效果。
自助法
置換檢驗主要用於生成檢驗零假設的p值，它有助於回答“效應是否存在”這樣的問題。不過，置換方法對於獲取置信區間和估計測量精度是比較困難的。幸運的是，這正是自助法大顯神通的地方。
自助法的步驟：
1. 一個樣本數爲n的樣本，進行m次有放回抽樣；
2. 計算並記錄樣本統計量（比如均值、方差、甚至t檢驗量等，可以一個，可以多個）；
3. 重複1000到2000次，或者更多，並把它們從小到大進行排序；
4. 根據雙尾95%分位點，即2.5%和97.5%分位數，即爲95%置信區間的下限和上限。
boot包
boot包可以進行自助法抽檢，並生成相應的置信區間。
主要的步驟如下：
1. 定義函數，返回一個統計值或一個向量（多個統計值），函數要包括indices參數，以便boot()函數用它從每個重複中選擇實例，主要是stype參數，默認爲i（索引值），還有f（頻率）和w（權重），indices可以簡定爲i；
2. 用boot(data,sitisctic,R,……）函數生成一個bootobject。
3. 使用boot.ci(bootobject,conf,type)生成置信區間，其中conf定義置信區間，type定義置信區間類型（即計算方法），包含norm、basic、stud、perc、bca和all（其中norm爲正態分佈的置信區間計算方法，約兩個標準差距離，perc爲上下分位數計算方法，stud爲t分佈計算方法），若返回值爲向量，則利用index參數來指定某個變量的置信區間。
4. 其它相關數據：比如bootobjectt0爲原始數據得到的統計量值，bootobjectt爲重複R次的統計量值（一個“R*統計量個數”的矩陣）
最後謹記：置換檢驗和自助法並不是萬能的，它們無法將爛數據轉化爲好數據。當初始樣本對於總體情況的代表性不佳，或者樣本量過小而無法準確地反映總體情況，這些方法也是愛莫能助。