ResNet V1 vs V2

一，ResNet V1 

論文指出歸一化包括BN,權重初始化已經很大程度解決了梯度消失和爆炸的問題，所以單純一層一層疊加的深層網絡效果不好是由於網絡退化的原因造成的，增加了short cut能夠能夠讓梯度直接回傳，並且不需要額外的參數和複雜度。

二，ResNet V2

v2是爲了證明short cut上是乾淨的，對於傳播更加容易。

對於（b） 來說，BN改變了short cut上的信號傳輸，抑制信息的流通。

對於（c）負半軸的信息無法進入網絡，影響resdiual分支，進而影響網絡的表達能力。