最近要準備cnn科普的ppt，本文對cnn的網絡架構的演進進行簡述，概述cnn發展歷程與重要結點。
在cv領域，cnn的網絡框架可謂是大紅大紫。隨着模型的迭代，網絡越來越深，架構越來越複雜，解決反向傳播時梯度消失的方法也越來越巧妙。
1.開山之作：LeNet 90年代
卷積神經網絡的祖師爺LeCun在1998年提出，定義了cnn基本組件：卷積、池化、全連接。LeNet-5，包含兩層卷積三層全連接共五層，用以識別手寫體數字10分類。
2.第二春：AlexNet 2012 ImageNet冠軍
AlexNet在這次比賽中奪冠，迎來cnn第二春。閃光點：ReLU、dropout、數據增廣。AlexNet包含5層卷積和3層全連接，實現1000分類。
3.ZF-Net 2013 ImageNet
調整AlexNet的參數，包括卷積核大小、卷積步長、通道數。沒啥亮點可言。
4.深度探索：VGG 2014 ImageNet
常用vgg16（13卷積+3全連接）/19（16+3）層，證明了增加網絡的深度能夠在一定程度上影響網絡最終的性能。
閃光點：採用連續的3x3小卷積核來代替AlexNet中較大的卷積核（AlexNet採用了11x11，7x7與5x5大小的卷積核），保證相同視野域的前提下增加網絡的非線性，從而能讓網絡來學習更復雜的模型，並且小卷積核的參數更少。
5.未完待續
6.Resnet
VGG網絡試着探尋了一下深度學習網絡的深度究竟可以深幾許以能持續地提高分類準確率。我們的一般印象當中，深度學習愈是深（複雜，參數多）愈是有着更強的表達能力。憑着這一基本準則CNN分類網絡自Alexnet的7層發展到了VGG的16乃至19層，後來更有了Googlenet的22層。可後來我們發現深度CNN網絡達到一定深度後再一味地增加層數並不能帶來進一步地分類性能提高，反而會招致網絡收斂變得更慢，test dataset的分類準確率也變得更差。排除數據集過小帶來的模型過擬合等問題後，我們發現過深的網絡仍然還會使分類準確度下降。
