【深度学习】：激活函数

引入

激活函数是神经网络由单层到多层的关键。

1.1986年，双层神经网络，sigmod,Hinton
Lecun 是 Hinton 的博士生

2.1988年，LeNet,Tanh,Lecun&Bengio(贝尔实验室同事)

3.2012年，AlexNet,Relu,Hinton

参考：https://www.jiqizhixin.com/graph/technologies/1697e627-30e7-48a6-b799-39e2338ffab5