卷积网络的基本结构
-
数据输入层/ Input layer
3种常见的图像数据处理方式：一般CNN只用去均值
-
卷积计算层/ CONV layer
基本概念：
- depth:与神经元（filter）个数相等
- stribe
- zero-padding
卷积宽长深度计算：
-
激励层(ReLU)
Sigmoid
Tanh(双曲正切)
ReLU
Leaky ReLU
ELU
Maxout
-
池化层 / Pooling layer
夹在连续的卷积层中间
压缩数据和参数的量，减小过拟合
池化之后的宽高计算如下：（eg：一个2*2，S=2，池化之后刚好是原来图像的一半
典型CNN结构
LeNet
AlexNet
分了两组：8层结构（5卷积层+3全连接）跟LeNet相比深度加深，每层神经元数减少
ZF Net
可以理解为对AlexNet进行了微调。
VGGNet
VGG-16有16个卷积层或全连接层，包括五组卷积层和3个全连接层，即：16=2+2+3+3+3+3。
1、输入224x224x3的图片，经64个3x3的卷积核作两次卷积+ReLU，卷积后的尺寸变为224x224x64
2、作max pooling（最大化池化），池化单元尺寸为2x2（效果为图像尺寸减半），池化后的尺寸变为112x112x64
3、经128个3x3的卷积核作两次卷积+ReLU，尺寸变为112x112x128
4、作2x2的max pooling池化，尺寸变为56x56x128
5、经256个3x3的卷积核作三次卷积+ReLU，尺寸变为56x56x256
6、作2x2的max pooling池化，尺寸变为28x28x256
7、经512个3x3的卷积核作三次卷积+ReLU，尺寸变为28x28x512
8、作2x2的max pooling池化，尺寸变为14x14x512
9、经512个3x3的卷积核作三次卷积+ReLU，尺寸变为14x14x512
10、作2x2的max pooling池化，尺寸变为7x7x512
11、与两层1x1x4096，一层1x1x1000进行全连接+ReLU（共三层）
12、通过softmax输出1000个预测结果
注意内存的计算
GoogLeNet
去掉了全连接层
