R語言與非參數統計（核密度估計）
核密度估計是在概率論中用來估計未知的密度函數，屬於非參數檢驗方法之一，由Rosenblatt (1955)和Emanuel Parzen(1962)提出，又名Parzen窗（Parzen window）。
假設我們有n個數X1-Xn,我們要計算某一個數X的概率密度有多大。核密度估計的方法是這樣的：
其中K爲核密度函數,h爲設定的窗寬。
核密度估計的原理其實是很簡單的。在我們對某一事物的概率分佈的情況下。如果某一個數在觀察中出現了，我們可以認爲這個數的概率密度很大，和這個數比較近的數的概率密度也會比較大，而那些離這個數遠的數的概率密度會比較小。基於這種想法，針對觀察中的第一個數，我們都可以f(x-xi)去擬合我們想象中的那個遠小近大概率密度。當然其實也可以用其他對稱的函數。針對每一個觀察中出現的數擬合出多個概率密度分佈函數之後，取平均。如果某些數是比較重要，某些數反之，則可以取加權平均。
但是核密度的估計並不是，也不能夠找到真正的分佈函數。我們可以舉一個極端的例子：在R中輸入：
plot(density(rep(0, 1000)))可以看到它得到了正態分佈的曲線，但實際上呢？從數據上判斷，它更有可能是一個退化的單點分佈。
但是這並不意味着核密度估計是不可取的，至少他可以解決許多模擬中存在的異方差問題。比如說我們要估計一下下面的一組數據：
set.seed(10)
dat<-c(rgamma(300,shape=2,scale=2),rgamma(100,shape=10,scale=2))
可以看出它是由300個服從gamma（2,2）與100個gamma（10,2）的隨機數構成的，他用參數統計的辦法是沒有辦法得到一個好的估計的。那麼我們嘗試使用核密度估計：
plot(density(dat),ylim=c(0,0.2))將利用正態核密度與標準密度函數作對比
dfn<-function(x,a,alpha1,alpha2,theta){
a*dgamma(x,shape=alpha1,scale=theta)+(1-a)*dgamma(x,shape=alpha2,scale=theta)}
pfn<-function(x,a,alpha1,alpha2,theta){
a*pgamma(x,shape=alpha1,scale=theta)+(1-a)*pgamma(x,shape=alpha2,scale=theta)}
curve(dfn(x,0.75,2,10,2),add=T,col="red")得到下圖：
（紅色的曲線爲真實密度曲線）
可以看出核密度與真實密度相比，得到大致的估計是不成問題的。至少趨勢是得到了的。如果換用gamma分佈的核效果無疑會更好，但是遺憾的是r中並沒有提供那麼多的核供我們挑選（其實我們知道核的選擇遠沒有窗寬的選擇來得重要），所以也無需介懷。
R中提供的核：kernel = c("gaussian", "epanechnikov", "rectangular", "triangular", "biweight","cosine", "optcosine")。
我們先來看看窗寬的選擇對核密度估計的影響：
dfn1<-function(x){
0.5*dnorm(x,3,1)+0.5*dnorm(x,-3,1)}
par(mfrow=c(2,2))
curve(dfn1(x),from=-6,to=6)
data<-c(rnorm(200,3,1),rnorm(200,-3,1))
plot(density(data,bw=8))
plot(density(data,bw=0.8))
plot(density(data,bw=0.08))得到下圖，我們可以清楚的看到帶寬爲0.8恰好合適，其餘的不是擬合不足便是過擬合。
窗寬究竟該如何選擇呢？
我們這裏不加證明的給出最佳窗寬選擇公式：
(這個基於積分均方誤差最小的角度得到的)
這裏介紹兩個可操作的窗寬估計辦法：(這兩種方法都比較容易導致過分光滑)
1、 Silverman大拇指法則
這裏使用R(phi’’)/sigma^5估計R（f’’），phi代表標準正態密度函數，得到h的表達式：
h=(4/(3n))^(*1/5)*sigma
2、 極大光滑原則
h=3*(R(K)/(35n))^(1/5)*sigma
當然也有比較麻煩的窗寬估計辦法，比如缺一交叉驗證，插入法等，可以參閱《computational statistics》一書
我們用上面的兩種辦法得到的窗寬是多少，他的核密度估計效果好嗎？
我們還是以上面的混合正態數據爲例來看看效果。
使用大拇指法則，將數據n=400,sigma=3.030658,帶入公式，h=0.9685291
使用極大光滑原則，假設K爲正態核，R(K)=1/(sqrt(2*pi))，h=1.121023
可以看出他們都比我們認爲的h=0.8要大一些，作圖如下：
plot(density(data,bw=0.9685))
plot(density(data,bw=1.1210))
由我們給出的
以Gauss核爲例做核密度估計
用Gauss核做核密度估計的R程序如下（還是使用我們的混合正態密度的例子）：
ker.density=function(x,h){
x=sort(x)
n=length(x);s=0;t=0;y=0
for(i in 2:n)
s[i]=0
for(i in 1:n){
for(j in 1:n)
s[i]=s[i]+exp(-((x[i]-x[j])^2)/(2*h*h))
t[i]=s[i]
}
for(i in 1:n)
y[i]=t[i]/(n*h*sqrt(2*pi))
z=complex(re=x,im=y)
hist(x,freq=FALSE)
lines(z)
}
ker.density(data,0.8)作圖如下：
最後說一個R的內置函數density（）。其實我覺得如果不是爲了簡要介紹核密度估計的一些常識我們完全可以只學會這個函數
先看看函數的基本用法：
density(x, ...)
## Default S3 method:
density(x, bw = "nrd0", adjust = 1,
kernel = c("gaussian", "epanechnikov", "rectangular",
"triangular", "biweight",
"cosine", "optcosine"),
weights = NULL, window = kernel, width,
give.Rkern = FALSE,
n = 512, from, to, cut = 3, na.rm = FALSE, ...)
對重要參數做出較爲詳細的說明：
X:我們要進行核密度估計的數據
Bw:窗寬，這裏可以由我們自己制定，也可以使用默認的辦法nrd0: Bandwidth selectors for Gaussian kernels。我們還可以使用bw.SJ(x,nb = 1000, lower = 0.1 * hmax, upper = hmax, method = c("ste","dpi"), tol = 0.1 * lower)，這裏的method =”dpi”就是前面提到過的插入法，”ste”代表solve-the-equationplug-in，也是插入法的改進
Kernel：核的選擇
Weights:對比較重要的數據採取加權處理
對於上述混合正態數據data，有
> density(data)
Call:
density.default(x = data)
Data: data (400 obs.); Bandwidth 'bw' = 0.8229
x y
Min. :-7.5040 Min. :0.0000191
1stQu.:-3.5076 1st Qu.:0.0064919
Median : 0.4889 Median :0.0438924
Mean :0.4889 Mean :0.0624940
3rdQu.: 4.4853 3rd Qu.:0.1172919
Max. :8.4817 Max. :0.1615015
知道帶寬：h=0.8229（採取正態密度核）那麼帶入密度估計式就可以寫出密度估計函數。
最後以faithful數據集爲例說明density的用法：
R數據集faithful是old faithful火山爆發的數據，其中“eruption”是火山爆發的持續時間，waiting是時間間隔
對數據“eruption”做核密度估計
R程序：
data(faithful)
A<-faithful
x<-A[,"eruptions"]
density(x)
plot(density(x))知道h= 0.3348
作圖：
關於核密度估計R中還有不少函數包提供了大量的支持：
ks Kernel smoothing
|
