想對圖像分類網絡寫個簡要的概括，如有介紹不當之處，還望指出。
一、VGG網絡
更新於2018年10月20日
參考博客：深度學習經典卷積神經網絡之VGGNet
論文地址：VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION
VGG是牛津大學計算機視覺組（VisualGeometry Group）和GoogleDeepMind公司的研究員一起研發的的深度卷積神經網絡。
VGG標籤：“三個臭皮匠賽過諸葛亮”
三個臭皮匠賽過諸葛亮：使用多個3*3的卷積核代替5*5的卷積核
在ILSVRC 2014比賽分類項目的第2名，分類錯誤率7.3%
網絡結構：
其中，D列是常用的VGG16，E列是VGG19。
特點：使用3*3的小卷積核代替5*5或7*7的卷積核。原因如下：
(1)3x3是最小的能夠捕獲像素八鄰域信息的尺寸。
(2)兩個3x3的堆疊卷基層的有限感受野是5x5；三個3x3的堆疊卷基層的感受野是7x7，故可以通過小尺寸卷積層的堆疊替代大尺寸卷積層，並且感受野大小不變。
(3)多個3x3的卷基層比一個大尺寸filter卷基層有更多的非線性（更多層的非線性函數），使得判決函數更加具有判決性。
(4)多個3x3的卷積層比一個大尺寸的filter有更少的參數，假設卷基層的輸入和輸出的特徵圖大小相同爲C，那麼三個3x3的卷積層參數個數3x（3x3xCxC）=27C2；一個7x7的卷積層參數爲49C2；所以可以把三個3x3的filter看成是一個7x7filter的分解（中間層有非線性的分解, 並且起到隱式正則化的作用。
二、Inception網絡
論文地址：Rethinking the Inception Architecture for Computer Vision
剛纔講的VGG是14年ILSVR分類比賽的老二，Inception是老大，分類錯誤率6.67%
Inception標籤：“分而治之”，BatchNormalization。
分而治之：採用分支的方式增大網絡的寬度和深度能夠很好的提高網絡的性能，避免過擬合。
BatchNormalization：就是在每一層輸出後再對輸出結果進行規範化，這樣使得網絡更容易收斂，且分類準確率有提升。
三種Inception基本網絡結構：
特點：InceptionNet採用分支網絡堆疊在一起產生較大通道的輸出。原因如下：
每個分支都採用了1*1的卷積網絡，因爲這是一個優秀的網絡，可以跨通道組織信息，提高網絡的表達能力，提供更多的非線性變換，性價比很高。同時網絡中的卷積和大小也不一樣，可以增加網絡對不同尺度的適應性。所以，InceptionNet通過分支的方式增大網絡的寬度和深度能夠很好的提高網絡的性能，避免過擬合。
InceptionNet還可以將一個較大的卷積網絡拆分成兩個小的卷積網絡。比如將7*7網絡拆分成1*7和7*1的卷積網絡，這樣可以節約大量參數，加速運算並減輕過擬合，同時增加了一層非線性變換拓展了模型的表達能力。如上圖中的後面兩種Inception結構。
Inception網絡結構：
figure 5/6/7分別對應着上圖中的三種Inception結構
三、ResNet
參考博客：ResNet解析
論文地址：Deep Residual Learning for Image Recognition
ResNet全名Residual Net，殘差網絡。是ImageNet 2015年的分類冠軍模型。
ResNet標籤：“越級上報”
越級上報：即跨層連接，第n層的輸出結果不僅輸入給第n+1層，還跨兩層輸出給第n+3層(ResNet34)，
跨三層的是ResNet50/101/152
ResNet常見的有ResNet 50、ResNet 101和ResNet 152
ResNet網絡結構：
其他特點：
跨三層的ResNet先使用1*1的卷積降維，然後進行3*3的卷積之後，再用1*1的卷積升維。減少了參數數量，防止過擬合。
ResNet網絡結構的特性使得即使網絡層數加深，也不會導致梯度消失或者梯度爆炸的現象（鏈式求導）
四、DenseNet
更新於2018年10月30日
參考博客：DenseNet算法詳解
論文地址：Densely Connected Convolutional Networks
DenseNet和ResNet有點像，恰巧看DenseNet的這幾天聽了一位長江學者的講座，在此借用該學者的話：
“現在的人工智能（指深度學習）用的理論仍然是很多年前的人工智能的理論，像什麼求梯度啊激活函數啊，沒有任何理論方面的創新，有的只是框架方面的更新。”
在我看來，現在AI的發展很大方面得力於工業屆的宣傳，工業的熱潮影響到學術界，所以現在有更多的人去研究AI。雖然現在的AI的確缺乏理論創新，但是work就行啊！管他黑貓白貓，能抓到老鼠的就是好貓！
哦該大佬說的另一句話我覺得也很有道理：
現在的學術論文，千分之一的論文是有直接價值的，剩下的千分之九九九，不能說是沒有價值，它們是有潛在價值的。這些潛在價值可能在很多年後纔會有人發現它們的價值所在。
好了，迴歸正題~
DenseNet，顧名思義，就是很緊密、稠密的網絡，是CVPR2017的best paper。
DenseNet標籤：太平洋警察——管的寬
太平洋警察——管的寬：某一層網絡的輸入不僅來自於它前面的那一層，它前面所有層的輸出都要傳遞給該層。
DenseNet網絡結構：
其他特點：
由於每一層的輸出都傳遞到了後面的每一層，所以Dense connection能夠有效的減輕梯度消失現象；
Dense connection還有一個好處是能夠充分利用feature；
DenseNet用的卷積核數量很小，一般是32或者48；
1*1卷積（文章中叫bottleneck layer或Translation layer）的作用是降維減少參數+融合各個通道的信息。因爲在對前面所有層進行concat後，拼接後的通道會很大，因此需要1*1的卷積來降維。
實驗結果：
五、InceptionResNet
待續