Tanh激活函數比Sigmoid優點在哪

Sigmoid函數：

Tanh函數：

優勢：Tanh函數是0均值的更加有利於提高訓練效率，由於Sigmoid輸出是在0-1之間，總是正數，在訓練過程中參數的梯度值爲同一符號，這樣更新的時候容易出現zigzag現象，不容易到達最優值。具體推導詳見知乎：https://www.zhihu.com/question/50396271?from=profile_question_card