引言
在學習線性迴歸模型的時候就會遇到基函數，可能我們會遇到多項式基函數、高斯基函數、sigmoid基函數，當然在高等數學和信號系統中還經常會碰到傅里葉基。有時候，不禁要問，這些基函數爲什麼這麼設計？這些基函數的作用是什麼？
後來發現基函數是核方法和字典訓練的基礎，於是乎，我逐漸有了一些例如特徵轉換和映射、字典元素的概念。不過還是對基函數與函數空間的關係、基函數的深層認識模棱兩可。我希望能通過這篇文章，來探究這些東西。
基函數
在數學中，基函數是函數空間一組特殊的基的元素。對於函數空間中的連續函數都可以表示成一系列基函數的線性組合，就像是在向量空間中每個向量都可以表示成基向量的線性組合一樣。
在數值分析和近似理論中，基函數也稱爲混合函數（blending function），因爲其在插值（interpolation）的應用
。
舉例：
多項式基：{1，t, t^2}是實係數二次多項式集合的基，每一個形如a+bt+ct^2的二次多項式都可以寫成由基函數1、t、t^2組成的線性組合。另外，{(t-1)(t-2)/2, -t(t-2), t(t-1)/2}是二次多項式的另一組基，稱爲拉格朗日基（Lagrange basis）。
傅里葉基：餘弦函數構成了平方可積函數的（正交）Schauder基。
說說徑向基函數
徑向基函數有個類似高斯函數的形狀，我們可以看到下面的圖像，不同的係數，有不同的函數圖像：
下面的三組圖像是三個徑向基函數在不同的權重的線性組合下的曲線形態：
我們知道，線性迴歸模型可以看做是目標函數加入了高斯噪聲模型，其概率模型形式爲：
=\frac{1}{(2\pi)^{N/2}|K|^{1/2}}exp(-\frac{1}{2}t^TK^{-1}t) "p(t|X,\delta^2)=\frac{1}{(2\pi)^{N/2}|K|^{1/2}}exp(-\frac{1}{2}t^TK^{-1}t)")
對於多維高斯模型的協方差矩陣，可以看做是數據構成的矩陣再加入一個噪聲的方陣，當使用基函數的時候，協方差矩陣就變成了核矩陣再加上噪聲的方陣。
下面是用多項式基函數和徑向基函數分別構成的特徵變換矩陣：
^2)&space;&&space;...&space;\\&space;exp(-2(x_2-1)^2)&space;&&space;...&space;\\&space;:&space;&&space;:&space;\\&space;exp(-2(x_n-1)^2)&space;&&space;...&space;\end{bmatrix} "\Phi = \begin{bmatrix} exp(-2(x_1-1)^2) & ... \\ exp(-2(x_2-1)^2) & ... \\ : & : \\ exp(-2(x_n-1)^2) & ... \end{bmatrix}")
由於徑向基函數是一種局部基函數(localized basis function)，那麼距離基函數中心比較遠的區域，數據項對方差的貢獻將趨於零，只剩下噪聲的貢獻。因此，對於基函數所在的區域之外的區域進行外插的時候，模型對於它做出的預測會變得相當確定，這不是我們想要的結果，可以用高斯過程這種貝葉斯迴歸方法來避免，這也就引入了徑向基核函數這種無限維的特徵轉換。
下面的特徵變換是由三個不同參數的徑向基函數組成的，這裏看到協方差矩陣的圖像中對角線區域，藍色部分是由噪聲貢獻的，而紅色區域是由基函數貢獻的。
利用這種協方差矩陣，構成的多維高斯分佈的抽樣結果用圖形給出：
徑向基函數與插值
徑向基函數可以看作是一個高維空間中的曲面擬合（逼近）問題，學習是爲了在多維空間中尋找一個能夠最佳匹配訓練數據的曲面，然後來一批新的數據，用剛纔訓練的那個曲面來處理（比如分類、迴歸）。徑向基函數的本質思想是反向傳播學習算法應用遞歸技術，這種技術在統計學中被稱爲隨機逼近。徑向基函數就是在神經網絡的隱單元裏提供了提供了一個函數集，該函數集在輸入模式（向量）擴展至隱空間時，爲其構建了一個任意的“基”。這個函數集中的函數就被稱爲徑向基函數。
徑向基函數是一種精確插值器，其方法方法不同於全局和局部多項式插值器，它們都不是精確插值器（不要求表面穿過測量點）。徑向基函數還可預測大於最大測量值和小於最小測量值的值。
徑向基函數用於根據大量數據點生成平滑表面。這些函數可爲平緩變化的表面生成很好的結果。但在表面值在短距離內出現劇烈變化和/或懷疑樣本值很可能有測量誤差或不確定性時，這些方法不適用。
徑向基核函數
我們先看一下爲什麼說徑向基核函數（高斯核函數）是無限維的特徵轉換吧。
將徑向基核函數做泰勒展開形式如下：
=exp(-(x-x')^2)=exp(-x^2)exp(-x'^2)exp(2xx')&space;=exp(-x^2)exp(-x'^2)[\sum_{i=0}^{\infty&space;}\frac{(2xx')^i}{i!}]&space;=\sum_{i=0}^{\infty&space;}[exp(-x^2)exp(-x'^2)\sqrt{\frac{2^i}{i!}}\sqrt{\frac{2^i}{i!}}x^ix'^i]&space;=\Phi(x)^T\Phi(x') "k(x,x')=exp(-(x-x')^2)=exp(-x^2)exp(-x'^2)exp(2xx') =exp(-x^2)exp(-x'^2)[\sum_{i=0}^{\infty }\frac{(2xx')^i}{i!}] =\sum_{i=0}^{\infty }[exp(-x^2)exp(-x'^2)\sqrt{\frac{2^i}{i!}}\sqrt{\frac{2^i}{i!}}x^ix'^i] =\Phi(x)^T\Phi(x')")
其對應的無限維的特徵轉換爲：
=exp(-x^2)(1,\sqrt{\frac{2}{1!}}x,\sqrt{\frac{2^2}{2!}}x^2,...) "\Phi(x)=exp(-x^2)(1,\sqrt{\frac{2}{1!}}x,\sqrt{\frac{2^2}{2!}}x^2,...)")
我們看到了徑向基核函數，是xi和xj數據之間歐氏距離的函數。
下面是核矩陣和抽樣的圖像：
從上圖看到，徑向基核函數以每個數據點爲中心進行建模，在有數據的區域貢獻隨機變量的方差，而不再像用單一的徑向基函數只在函數中心保有對方差的貢獻。上圖同樣說明，相鄰的數據有強相關性，而相離的數據沒有什麼相關性，即紅色區域和藍色區域說明的情況。
這是高斯過程模型的基礎，相比貝葉斯線性模型而言，高斯過程不再對模型參數進行建模（通過對參數分佈進行採樣，再進行不同基函數模型的組合），而是直接對數據進行相應操作。
函數空間淺顯解釋
空間是數學抽象出來描述具有某些特殊性質和結構的集合。學過線性代數的人都知道線性空間，向量是線性空間的基本元素。空間中還有一個很重要的概念是基。爲什麼要有基？是爲了更好的描述空間。比如說三維空間，這個空間裏面的元素的個數是不可數的（也就是和自然數集找不到一一對應的關係），所以一一列出來是不可能的。數學家想出了一個很好的辦法，用任意三個不共面向量的線性組合來表示這個空間中的任意一個元素。
有了上面的概念，我們可以理解函數空間就是滿足一定性質和結構的函數集合，組成這個空間的元素都是滿足一定條件的函數。所以，這個函數空間裏面的所有元素都是函數，而且這個空間其實是無窮維的，基有無窮多個。
因爲我是通信專業的，現在用傅里葉變換來理解一下函數空間。傅里葉變換就是給出了一組基，要求求出利用每個基線性組合成這一信號（函數）的組合係數，或者說是在這組基下的座標。傅里葉變換的美妙之處就在於這組基取得實在是太好了。爲什麼呢？首先他們是正交的，更主要的是它還和自然界的情況有着微妙的聯繫。自然界中的水波、音波、電磁波等等，如果用數學抽象，顯然是三角函數。在振盪電路、模擬通信等等領域中，使用三角函數形式的波形的好處也是非常多的。可以看到，傅里葉變換在一維信號處理領域獲得了很大的成功。需要指出的是，傅里葉變換在二維信號處理領域，比如說在圖像處理領域的缺點就很多了。直觀上，圖像的週期現象似乎不是那麼明顯。而且從一維情況轉換到二維情況，複雜度成倍增加。
轉載請註明作者Jason Ding及其出處
Github博客主頁(http://jasonding1354.github.io/)
GitCafe博客主頁(http://jasonding1354.gitcafe.io/)
CSDN博客(http://blog.csdn.net/jasonding1354)
簡書主頁(http://www.jianshu.com/users/2bd9b48f6ea8/latest_articles)
Google搜索jasonding1354進入我的博客主頁
