激活函數的作用：將線性的神經網絡通過附加激活函數可以逼近任何非線性函數。
1.sigmoid（![\sigma(x) = \frac{1}{1 +e^{-x}}]()
, ![{\sigma }' = \sigma (1 - \sigma)]()
）
, 
）- 函數不關於原點中心對稱，收斂速度慢。
- 導數很容易接近0，造成梯度消失。
- 含有指數，計算量大。
2.tanh（![tanh(x) = \frac{e^{x} - e^{-x}}{e^{x} + e^{-x}} =2 \sigma(2x) - 1]()
）
） - 關於原點中心對稱，收斂速度好一些。
- 梯度消失問題和計算量大的問題依然存在。
3.relu（relu(x) = max（0，x））
- 學習率大的時候，很可能造成網絡中很多神經元死亡。
- 在大於零的時候梯度消失問題得到解決。
- 速度快。
4.relu/elu
改進了小於0部分的細胞死亡問題。
使用規則：
1.用relu，要小心學習率。
2.儘量嘗試elu/leakyrelu。
3.用tanh不一定有什麼效果。
4.一定不要用sigmoid。