神經網絡激勵函數綜合

  神經網絡的激勵函數用來將神經元的激活水平轉化爲輸出信號。畢竟函數的作用就是實現一種空間的轉化。在神經網絡中講輸出值壓縮到一個有限的範圍內。在這裏主要介紹 Relu函數及其變體，sigmod函數（S型函數），雙曲正切函數，雙極性S函數，徑向基函數以及one-side hyperbolic ratio function。

部分資料參考wikipedia。

1.ReLu 函數

全稱是rectified linear unit,它被廣泛應用到了卷積神經網絡中，並且出現了一些變體。

函數基本形式是：f(x) = max(0,x), smooth approxiation形式爲：

函數的樣子所示：

兩種變體是：

noisy Relu

也就是在原來的Relu分類部分添加均值爲0，方差爲sigma的高斯噪聲

leaky Relu

這個leaky ReLu的好處是當神經元處於非激活狀態是，允許一個非0的梯度存在。

2、單極性 sigmod函數，

圖形爲：

3、雙極性sigma函數，

圖形爲：

4、雙曲正切函數，

圖形爲：

5、徑向基函數，

，g表示的就是徑向基函數，絕對值表達的是徑向距離。

圖形爲：

6、one-side hyperbolic ratio function，

圖形爲：