| AlexNet | LeNet | caffenet | CaffeNetConv |
|---|---|---|---|
 |
 |
 |
 |
LeNet
在ip1上使用ReLU（ Rectified-Linear ）激活函數，ReLU是目前使用最多的激活函數，主要因爲其收斂更快，並且能保持同樣效果。
標準的ReLU函數爲max(x, 0)，當x>0時，輸出x; 當x<=0時，輸出0
f(x)=max(x,0)
層類型：ReLU
可選參數：
negative_slope：默認爲0. 對標準的ReLU函數進行變化，如果設置了這個值，那麼數據爲負數時，就不再設置爲0，而是用原始數據乘以negative_slope