神經網絡ResNet訓練CIFAR10數據集

loss在反向傳播的過程中,傳遞到淺層的梯度非常小,使得淺層參數難以更新。resnet引入了殘差單元(residual unit):通過直接和輸入連接,使得淺層的參數變得可以訓練。

 bottleneck將左圖中的一個3*3的卷積層,改爲了兩個1*1的卷積層,在參數個數相近的情況下,加深了網絡深度。

resnet就是上面的殘差單元(residual unit)或者是bottleneck不斷堆疊形成的結構,封裝成一個residual_block函數。

(即便輸入輸出的通道數沒有改變,輸入輸出的大小也可能改變)。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章