1、SVM就是個MLP（多層神經網絡）
2、RBF徑向基核函數在SVM發明的7年前就已經被用於RBF神經網絡，RBF網絡本質就是個把激活函數從Sigmoid替換成RBF的MLP。
RBF的結構：
徑向基函數（Radical
Basis Function，RBF）方法是Powell在1985年提出的。
詳細看這篇：
http://blog.csdn.net/zouxy09/article/details/13297881
這是一個單調函數，x與c越大，h(x)就越小。上圖是“高斯徑向基函數”。
在解決多變量插值的問題時，左圖是樣本點。中間那個圖中綠色虛線對應的，就表示的是每個訓練樣本對應一個高斯函數（高斯函數中心就是樣本點）。右圖，設真實的擬合這些訓練數據的曲線是藍色的那根。如果我們有一個新的數據x1，我們想知道它對應的f(x1)是多少，也就是a點的縱座標是多少。那麼由圖可以看到，a點的縱座標等於b點的縱座標加上c點的縱座標。而b的縱座標是第一個樣本點的高斯函數的值乘以一個大點權值得到的，c的縱座標是第二個樣本點的高斯函數的值乘以另一個小點的權值得到。而其他樣本點的權值全是0，因爲我們要插值的點x1在第一和第二個樣本點之間，遠離其他的樣本點，那麼插值影響最大的就是離得近的點，離的遠的就沒什麼貢獻了。所以x1點的函數值由附近的b和c兩個點就可以確定了。拓展到任意的新的x，這些紅色的高斯函數乘以一個權值後再在對應的x地方加起來，就可以完美的擬合真實的函數曲線了。
徑向基網絡
1988年，
Moody和 Darken提出了一種神經網絡結構，屬於前向神經網絡類型，能夠以任意精度逼近任意連續函數，特別適合於解決分類問題。
RBF網絡的結構與多層前向網絡類似，它是一種三層前向網絡。輸入層由信號源結點組成；第二層爲隱含層，隱單元數視所描述問題的需要而定，隱單元的變換函數是RBF徑向基函數，它是對中心點徑向對稱且衰減的非負非線性函數；第三層爲輸出層，它對輸入模式的作用作出響應。從輸人空間到隱含層空間的變換是非線性的，而從隱含層空間到輸出層空間變換是線性的。
RBF網絡的基本思想是：用RBF（徑向基函數）作爲隱單元的“基”構成隱含層空間，這樣就可將輸入矢量直接（即不需要通過權連接）映射到隱空間。根據Cover定理，低維空間不可分的數據到了高維空間會更有可能變得可分。換句話來說，RBF網絡的隱層的功能就是將低維空間的輸入通過非線性函數映射到一個高維空間。然後再在這個高維空間進行曲線的擬合。它等價於在一個隱含的高維空間尋找一個能最佳擬合訓練數據的表面。這點與普通的多層感知機MLP是不同的。
隱含層空間到輸出空間的映射是線性的，即網絡的輸出是隱單元輸出的線性加權和，此處的權即爲網絡可調參數。由此可見，從總體上看，網絡由輸入到輸出的映射是非線性的，而網絡輸出對可調參數而言卻又是線性的。這樣網絡的權就可由線性方程組直接解出，從而大大加快學習速度並避免局部極小問題。
對比理解：
（1）多層感知器（包括BP神經網絡）的隱節點基函數採用線性函數，激活函數則採用Sigmoid函數或硬極限函數。（2）而RBF網絡的隱節點的基函數採用距離函數（如歐氏距離），並使用徑向基函數（如Gaussian函數）作爲激活函數。（3）徑向基函數關於n維空間的一箇中心點具有徑向對稱性，而且神經元的輸入離該中心點越遠，神經元的激活程度就越低。隱節點的這一特性常被稱爲“局部特性”。
另一種理解RBF---
選址：https://msdn.microsoft.com/en-us/magazine/dn451445.aspx
這是微軟研究員搭建的一個RBF網絡模型，因爲僅僅是模擬整個網絡的計算過程，所以沒有訓練網絡的方法，只是講述網絡是如何對一個輸入進行計算的。
見圖：
輸入數據：(1,-2,3) 本網絡結構爲：3*4*2：三維向量，4個隱藏點，2個輸出
每個隱藏點的形式爲高斯徑向基函數，需要設置均值和方差參數：
均值： the centroids are (-3.0, -3.5, -3.8), (-1.0, -1.5, 1.8), (2.0, 2.5, 2.8) and (4.0, 4.5, 4.8).
方差： four standard deviations，The values in the demo are 2.22, 3.33, 4.44 and 5.55.
權值連接：If an RBF net has j hidden nodes and k output nodes, there will be j * k weights. Here, the 4 * 2 = 8 weights are 5.0, -5.1, -5.2, 5.3, -5.4, 5.5, 5.6 and -5.7
偏置：The two dummy bias values are 7.0 and 7.1.
整個網絡結構如圖：
舉一個計算例子：
注意：高斯公式：
最下面的一個Hidden unit:
The distance between x and mu is Sqrt( (1.0 - 4.0)^2 + (-2.0 - 4.5)^2 + (3.0 - 4.8)^2 ) = Sqrt(9.00 + 42.25 + 3.24) = 7.3817 。The distance squared is 54.49.Putting all the values together, the output for the hidden node 3 is Exp(-54.49 / (2 * (5.55)^2)) = Exp(-0.88451) = 0.4129, which is the value shown in Figure 1.The output values for hidden nodes 0, 1 and 2 are calculated in the same way and are 0.0014, 0.2921 and 0.5828, respectively.
權值連接計算：
For
example, if h0, h1, h2, and h3 (using the easier-to-type letter h instead of Greek letter phi) are the outputs of the hidden nodes 0 through 3, then final output 0 is computed as (w00 * h0) + (w10 * h1) + (w20 * h2) + (w30 * h3) + b0 = (5.0 * 0.0014) + (-5.2
* 0.2921) + (-5.4 * 0.5828) + (5.6 * 0.4129) + 7.0 = 0.0070 + -1.5189 + -3.1471 + 2.3122 + 7.0 = 4.6535 (rounded),
再談RBF網絡參數自動選定方法
主要選取 ： http://blog.csdn.net/zouxy09/article/details/13297881
網絡的參數主要包括三種：徑向基函數的中心、方差和隱含層到輸出層的權值。到目前爲止，出現了很多求解這三種參數的方法，主要可以分爲以下兩大類：
1. 通過非監督方法
中心點：在訓練樣本集中隨機選擇h個樣本作爲h個徑向基函數的中心。更好的方法是通過聚類，例如K-means聚類得到h個聚類中心，將這些聚類中心當成徑向基函數的h箇中心。
方差：
輸出權值：
