激活函數Tanh

  Tanh的誕生比Sigmoid晚一些，sigmoid函數我們提到過有一個缺點就是輸出不以0爲中心，使得收斂變慢的問題。而Tanh則就是解決了這個問題。Tanh就是雙曲正切函數。等於雙曲餘弦除雙曲正弦。函數表達式和圖像見下圖。這個函數是一個奇函數。


  對tanh函數求導需要一定的數學基礎，這裏直接給出結果。$tanh'(x)=1-tanh^2(x)$，這個函數同樣是根據函數求導數很容易，但是函數值的計算比較複雜。
  同樣可以很輕易的證明這個函數兩邊趨於無窮極限是飽和的，函數圖像和sigmoid函數非常像，其實就是直接在豎直方向拉伸兩倍，然後在y軸向下平移了1個單位，使得函數的中心回到了0，然後在水平方向上拉伸兩倍。$tanh(x)=2sigmoid(2X)-1$。解決了sigmoid函數收斂變慢的問題，相對於sigmoid提高了收斂速度。
  其他特點都是類似的，根據函數值求導數值簡單，但是指數的計算複雜。梯度消失的特點依舊保留，因爲兩邊的飽和性使得梯度消失，進而難以訓練。
  儘管tanh函數和sigmoid函數存在梯度消失的問題，但是與之類似，如果函數的梯度過大又會導致梯度爆炸的問題，顯然tanh和sigmoid的導函數非常有界，根據導數公式，很容易得出$tanh'(x)\in[0,1]$，所以完全不用擔心因爲使用激活函數而產生梯度爆炸的問題。

系列文章：

神經網絡中的激活函數總述
sigmoid激活函數
tanh激活函數
ReLU系列激活函數
maxout激活函數
Swish激活函數
激活函數發展的新里程——EvoNorms