CNN基本結構和經典網絡

卷積網絡的基本結構

• 數據輸入層/ Input layer

3種常見的圖像數據處理方式：一般CNN只用去均值

• 卷積計算層/ CONV layer

基本概念：

1. depth:與神經元（filter）個數相等
2. stribe
3. zero-padding

卷積寬長深度計算：

• 激勵層(ReLU)

 Sigmoid
 Tanh(雙曲正切)
 ReLU
 Leaky ReLU
 ELU

 Maxout

• 池化層 / Pooling layer

 夾在連續的卷積層中間
 壓縮數據和參數的量，減小過擬合

池化之後的寬高計算如下：（eg：一個2*2，S=2，池化之後剛好是原來圖像的一半

 典型CNN結構

LeNet

 

AlexNet

分了兩組：8層結構（5卷積層+3全連接）跟LeNet相比深度加深，每層神經元數減少

ZF Net

可以理解爲對AlexNet進行了微調。

VGGNet

VGG-16有16個卷積層或全連接層，包括五組卷積層和3個全連接層，即：16=2+2+3+3+3+3。

1、輸入224x224x3的圖片，經64個3x3的卷積核作兩次卷積+ReLU，卷積後的尺寸變爲224x224x64

2、作max pooling（最大化池化），池化單元尺寸爲2x2（效果爲圖像尺寸減半），池化後的尺寸變爲112x112x64

3、經128個3x3的卷積核作兩次卷積+ReLU，尺寸變爲112x112x128

4、作2x2的max pooling池化，尺寸變爲56x56x128

5、經256個3x3的卷積核作三次卷積+ReLU，尺寸變爲56x56x256

6、作2x2的max pooling池化，尺寸變爲28x28x256

7、經512個3x3的卷積核作三次卷積+ReLU，尺寸變爲28x28x512

8、作2x2的max pooling池化，尺寸變爲14x14x512

9、經512個3x3的卷積核作三次卷積+ReLU，尺寸變爲14x14x512

10、作2x2的max pooling池化，尺寸變爲7x7x512

11、與兩層1x1x4096，一層1x1x1000進行全連接+ReLU（共三層）

12、通過softmax輸出1000個預測結果 

注意內存的計算

GoogLeNet

去掉了全連接層