1 簡要概括
ResNet（Residual Neural Network）由微軟研究院的Kaiming He等四名華人提出，通過使用ResNet Unit成功訓練出了152層的神經網絡，並在ILSVRC2015比賽中取得冠軍，在top5上的錯誤率爲3.57%，同時參數量比VGGNet低，效果非常突出。ResNet的結構可以極快的加速神經網絡的訓練，模型的準確率也有比較大的提升。同時ResNet的推廣性非常好，甚至可以直接用到InceptionNet網絡中。
ResNet的主要思想是在網絡中增加了直連通道，即Highway Network的思想。此前的網絡結構是性能輸入做一個非線性變換，而Highway Network則允許保留之前網絡層的一定比例的輸出。ResNet的思想和Highway Network的思想也非常類似，允許原始輸入信息直接傳到後面的層中，如下圖所示。
這樣的話這一層的神經網絡可以不用學習整個的輸出，而是學習上一個網絡輸出的殘差，因此ResNet又叫做殘差網絡。
2 創新點
提出殘差學習的思想。傳統的卷積網絡或者全連接網絡在信息傳遞的時候或多或少會存在信息丟失，損耗等問題，同時還有導致梯度消失或者梯度爆炸，導致很深的網絡無法訓練。ResNet在一定程度上解決了這個問題，通過直接將輸入信息繞道傳到輸出，保護信息的完整性，整個網絡只需要學習輸入、輸出差別的那一部分，簡化學習目標和難度。VGGNet和ResNet的對比如下圖所示。ResNet最大的區別在於有很多的旁路將輸入直接連接到後面的層，這種結構也被稱爲shortcut或者skip connections。
3 網絡結構
在ResNet網絡結構中會用到兩種殘差模塊，一種是以兩個3*3的卷積網絡串接在一起作爲一個殘差模塊，另外一種是1*1、3*3、1*1的3個卷積網絡串接在一起作爲一個殘差模塊。他們如下圖所示。
ResNet有不同的網絡層數，比較常用的是50-layer，101-layer，152-layer。他們都是由上述的殘差模塊堆疊在一起實現的。
https://blog.csdn.net/u013181595/article/details/80990930