【深度學習】：激活函數

引入

激活函數是神經網絡由單層到多層的關鍵。

1.1986年，雙層神經網絡，sigmod,Hinton
Lecun 是 Hinton 的博士生

2.1988年，LeNet,Tanh,Lecun&Bengio(貝爾實驗室同事)

3.2012年，AlexNet,Relu,Hinton

參考：https://www.jiqizhixin.com/graph/technologies/1697e627-30e7-48a6-b799-39e2338ffab5