Sigmoid函数：
Tanh函数：
优势：Tanh函数是0均值的更加有利于提高训练效率，由于Sigmoid输出是在0-1之间，总是正数，在训练过程中参数的梯度值为同一符号，这样更新的时候容易出现zigzag现象，不容易到达最优值。具体推导详见知乎：https://www.zhihu.com/question/50396271?from=profile_question_card
Tanh激活函数比Sigmoid优点在哪
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.