【apollo】基礎學習之sigmoid函數
sigmoid 是使用範圍最廣的一類激活函數，具有指數函數形狀，它在物理意義上最爲接近生物神經元。此外，(0, 1) 的輸出還可以被表示作概率，或用於輸入的歸一化，代表性的如Sigmoid交叉熵損失函數。
然而，sigmoid也有其自身的缺陷，最明顯的就是飽和性。從上圖可以看到，其兩側導數逐漸趨近於0
sigmoid 的軟飽和性，使得深度神經網絡在二三十年裏一直難以有效的訓練，是阻礙神經網絡發展的重要原因。具體來說，由於在後向傳遞過程中，sigmoid向下傳導的梯度包含了一個 f′(x) 因子（sigmoid關於輸入的導數），因此一旦輸入落入飽和區，f′(x) 就會變得接近於0，導致了向底層傳遞的梯度也變得非常小。此時，網絡參數很難得到有效訓練。這種現象被稱爲梯度消失。一般來說， sigmoid 網絡在 5 層之內就會產生梯度消失現象
此外，sigmoid函數的輸出均大於0，使得輸出不是0均值，這稱爲偏移現象，這會導致後一層的神經元將得到上一層輸出的非0均值的信號作爲輸入。