【激活函數】sigmoid, tanh,relu理解

三個激活函數圖像如下：

• 如果你的函數值區和定義域都是正值，那麼用tanh和sigmoid都可以達到比較好的效果，如果函數數值區和定義域有一個爲負數(例如y=x^2, x在(-0.5 0.5))那麼必須使用tanh才能達到好的效果。綜上：曲線模型最好選擇tanh函數。

• relu常用於分類、聚類，因爲類別都是正值標籤例如001,010,100等One-hot編碼，因此relu非0即1的選擇最好。