ResNet網絡提出的文章是《Deep Residual Learning for Image Recognition》
下載地址：https://arxiv.org/pdf/1512.03385.pdf
代碼地址：https://github.com/pytorch/vision/blob/master/torchvision/models/resnet.py
一、深層次網絡訓練瓶頸：梯度消失，網絡退化
深度卷積網絡自然的整合了低中高不同層次的特徵，特徵的層次可以靠加深網絡的層次來豐富。從而，在構建卷積網絡時，網絡的深度越高，可抽取的特徵層次就越豐富。所以一般我們會傾向於使用更深層次的網絡結構，以便取得更高層次的特徵。但是在使用深層次的網絡結構時我們會遇到兩個問題，梯度消失，梯度爆炸問題和網絡退化的問題。
但是當使用更深層的網絡時，會發生梯度消失、爆炸問題，這個問題很大程度通過標準的初始化和正則化層來基本解決，這樣可以確保幾十層的網絡能夠收斂，但是隨着網絡層數的增加，梯度消失或者爆炸的問題仍然存在。
二、ResNet
ResNet是在2015年由何凱明，張翔宇，任少卿，孫劍共同提出的，ResNet使用了一個新的思想，ResNet的思想是假設我們涉及一個網絡層，存在最優化的網絡層次，那麼往往我們設計的深層次網絡是有很多網絡層爲冗餘層的。那麼我們希望這些冗餘層能夠完成恆等映射，保證經過該恆等層的輸入和輸出完全相同。具體哪些層是恆等層，這個會有網絡訓練的時候自己判斷出。