AlexNet

AlexNet 论文

《ImageNet Classification with Deep Convolutional Neural Networks》

AlexNet网络结构描述

Conv1 :输入$227*227*3$，卷积核大小为$11*11*3$，移动步长为$4$，数量为$96$个，输出$55*55*96$；
Relu1:输出$55*55*96$；
Pool1:池化核大小为$3*3$，移动步长为$2$，输出$27*27*96$;
Norm1:local_size =$ 5$,输出$27*27*96$;
Conv2:输入$27*27*96$，卷积核大小为$5*5*96$，移动步长为$1$，数量为$256$，输出$27*27*256$；
Relu2:输出$27*27*256$;
Pool2:池化核大小为$3*3$，移动步长为$2$，输出$13*13*256$;
Conv3:输入$13*13*256$，输出$13*13*384$；
Conv4:输入$13*13*384$，输出$13*13*384$;
Conv5:输入$13*13*384$，输出$6*6*256$;
Fc6:$4096$个神经元，输出为$4096*1$;
Fc7:输出$4096*1$;
Fc8:输出$1000*1$;

AlexNet特点

• 成功使用ReLU作为CNN的激活函数,解决了Sigmoid在网络较深时的梯度弥散问题。
• 训练时使用Dropout随机忽略一部分神经元，以避免模型过拟合。在AlexNet中主要是最后几个全连接层使用了Dropout。
• 在CNN中使用重叠的最大池化(OverlappingPooling)。此前CNN中普遍使用平均池化，AlexNet全部使用最大池化，避免平均池化的模糊化效果。并且AlexNet中提出让步长比池化核的尺寸小，这样池化层的输出之间会有重叠和覆盖，提升了特征的丰富性。
• 提出了LRN(Local ResponseNormalization)层，对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。