激活函數

sigmoid 和tanh

激活函數的表達式及簡單說明

• 從數學上看，這兩個函數可以通過線性變化等價，唯一的區別在於值域是 (0,1) 和 (-1, 1)。
• 作爲激活函數，都存在兩端梯度彌散、計算量大的問題，sigmoid函數因爲和生物上的神經元信號刺激的 firing rate 長得像，一度比較流行。。。但是，作爲非中心對稱的激活函數，sigmoid有個問題：輸出總是正數！！！這意味着，神經網絡的隱層每個節點的輸出（activation）總是正數（注：bias可以看做activation爲+1），會導致什麼問題？
  對不同的節點求導，發現權重取決於相同的數值，說明權重只能分佈在第一、三象限，會出現zigzag現象（之字走法）