爲什麼會有殘差網絡?
網絡越深準確率越高嗎？
一說起深度學習,自然也就想到了它非常顯著的特點"深"，通過很深層次的網絡實現準確率非常高的圖像識別、語音識別等。因此,我們大家很自然就想到:深的網絡肯定比淺的網絡效果好,如果要進一步提升模型的準確率,最直接的方法就是把網絡設計的更深,這樣模型的準確率也會越來越準確。
那現實是這樣嗎？我們先來看幾個經典的圖像識別深度學習模型
這幾個模型都是在世界頂級比賽中獲獎的著名模型,然而這些網絡的層次也並沒有那麼深,最多的也就22層而已,這種算是深度學習嗎？爲什麼不把網絡層次加到成百上千層呢？
帶着這個問題,我們先來看一個實驗,對於常規網絡(plain netword，平原網絡)直接堆疊很多層次,經對圖像識別結果進行檢驗,訓練集、測試集的誤差結果如下圖:
從上面兩個圖可以看出,在網絡很深的時候模型的效果越來越差了(誤差率越來越大),並不是我們所想的網絡越深越好。
通過實驗可以發現: