參考：《解析深度學習——卷積神經網絡原理與視覺實踐》
網址：http://lamda.nju.edu.cn/weixs/book/CNN_book.pdf
一、VGG
特點：
（1）使用小卷積核和“保持輸入大小"等技巧，目的在增加網絡深度（複雜度）時各層輸入大小隨深度增加而不極具減小。
（2）通道數也逐漸在增加。
二、NIN
特點：
（1）NIN採用了複雜度更高的多層感知機作爲層間映射形式,一方面提供了網絡層間映射的一種新可能;另一方面增加了網絡卷積層的非線性能力,使得上層特徵可有更多複雜性與可能性的映射到下層,這樣的想法也被後期出現的殘差網絡 和Inception等網絡模型所借鑑。
（2）用全局匯合操作（global average poolig）代替全連接層（分類層）。
三、殘差網絡（高速公路網絡的簡化，將變換門和攜帶門用近路連接代替，即直接用恆等映射代替非線性變換。近路連接使梯度信息可以在多個神經網絡層之間有效傳遞。）
權重初始化策略和批規範化極大改善梯度爆炸或梯度消失的問題（由網絡深度引起的）。
（1）普通殘差模塊與瓶頸殘差模塊
（2）高速公路網絡的簡化，將變換門和攜帶門用近路連接代替，即直接用恆等映射代替非線性變換。近路連接使梯度信息可以在多個神經網絡層之間有效傳遞。
（3）也用到了全局匯合操作（global average poolig）代替全連接層