常用的是RBF(Radial Basis Function)核函數(也稱爲高斯核函數)
什麼是徑向基核函數:x到指定中心(原點)和指定一點(C_i)距離的函數形式。或者說是:某種沿徑向對稱的標量函數。
RBF函數形式如下:
或者
其中,c_i是指定中心點,而則代表RBF函數的作用範圍,值越小,說明作用範圍越寬,反之則越窄。
或者
核函數的性質:
1 取值範圍在0-1之間。
2 一種相似度度量方法
3 核函數的標識空間有無窮多維
4 支撐集(支集)較小,影響範圍較小,對於給定樣本,只對樣本的附近樣本有影響,存在【局部響應特性】。
5 實現非線性映射
6 參數較少,模型複雜度簡單(對比多項式核函數,多項式核函數的參數較多,調參困難)
RBF神經網絡:採用RBF核函數作爲激活函數的神經網絡(neural network)。
和BP神經網絡的區別:
1 需要事先確定樣本中心點數目、位置,核函數的寬度
2 input和hidden通過節點和中心點距離連接,而非常見的w和b。
3 RBF神經網絡是單層神經網絡,難以全局逼近最優解。
參考:
RBF神經網絡和BP神經網絡有什麼區別?
https://www.zhihu.com/question/44328472
https://blog.csdn.net/zqx951102/article/details/89461889
-- 未完待續 --