1. 激活函數
2.激勵層選擇函數的經驗：
(1) 儘量不要使用Sigmoid；
(2) 首先試用ReLU，原因是快，但需要小心；
(3) 如果(2)失效，使用Leaky ReLU或Maxout；
(4) 某些情況下，tanh到有不錯的結果，但是這種情況比較的少。
3. 卷積神經網絡的層級結構：
- 數據輸入層 Input Layer
- 卷積計算層 CONV Layer
- ReLU激勵層 ReLU Layer
- 池化層 Pooling Layer
- 全連接層 FC Layer
卷積神經網絡處理圖像各層的效果如下：
4. 典型CNN
LeNet 最早用於數字識別的CNN
AlexNet 2012 ILSVRC比賽遠超第2名的CNN，比LeNet更深，用多層小卷積層疊加替換單大卷積層
ZFNet 2013 ILSVRC比賽冠軍
GoogLeNet 2014 ILSVRC比賽
VGGNet 2014 ILSVRC比賽中的模型，圖像識別略差於GoogLeNet，但是在很多圖像轉化學習問題(比如object detection)上效果奇好