loss在反向傳播的過程中,傳遞到淺層的梯度非常小,使得淺層參數難以更新。resnet引入了殘差單元(residual unit):通過直接和輸入連接,使得淺層的參數變得可以訓練。
bottleneck將左圖中的一個3*3的卷積層,改爲了兩個1*1的卷積層,在參數個數相近的情況下,加深了網絡深度。
resnet就是上面的殘差單元(residual unit)或者是bottleneck不斷堆疊形成的結構,封裝成一個residual_block函數。
(即便輸入輸出的通道數沒有改變,輸入輸出的大小也可能改變)。