用兩個3*3代替5*5卷積的優點

問題:

1、對於5*5和兩個3*3的計算量,我們可以比較一下。

2、我們假設輸入圖像大小是5*5*1,最終都需要將其變成1*1*1.

3、那麼對於5*5的核(暫時用1個),我們的總參數是25,總的乘法計算數爲1*5*5*1=25;

4、而對於3*3的核(用1個),我們總參數是2*3*3=18.總的乘法計算數:

    4.1 5*5*1->3*3*1: 乘法計算數目爲 1*3*3*3*3*1=81次。

    4.2 3*3*1->1*1*1: 乘法計算數目爲 1*3*3*1*1*1=9次

    4.3 總共是90次(超多)

但是,計算機讀內存的速度比計算乘法的速度慢多了,所以我們寧願多算幾次,也不要多讀一點內存數據。

因此,雖然3*3的卷積覈計算量較大,但是參數數目較5*5少很多,在用3*3卷積核參與卷積運算時計算機的處理速度會快很多。該優化方法在早期的VGG網絡中很常見。而且,使用2個3*3替換一個5*5使得網絡的深度(層數)增加,非線性表達特徵的能力就會增強。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章