【激活函数】sigmoid, tanh,relu理解

三个激活函数图像如下：

• 如果你的函数值区和定义域都是正值，那么用tanh和sigmoid都可以达到比较好的效果，如果函数数值区和定义域有一个为负数(例如y=x^2, x在(-0.5 0.5))那么必须使用tanh才能达到好的效果。综上：曲线模型最好选择tanh函数。

• relu常用于分类、聚类，因为类别都是正值标签例如001,010,100等One-hot编码，因此relu非0即1的选择最好。