卷積覈計算個數和BN層gamma係數個數關係

關於卷積覈計算的可視化,是一個卷積覈對應一個輸出通道。
這裏直接用cs231n課程中的一張卷積動圖展示如下:

在這裏插入圖片描述
可以看到,一共用了兩個濾波器(卷積核),對應了兩個輸出通道。

常見的組合是CBL,即Conv -> BN ->activation
那Conv個數和BN個數是什麼樣的呢?我們截取Yolov3的部分結構圖看Conv個數-BN個數的關係:
在這裏插入圖片描述
輸入是416 * 416 * 3,即3通道的輸入數據,經過CBL後輸出數據是416 * 416 * 32,即32個通道輸出。
看中間部分,其中均值mean有32個,variance方差有32個,說明對應32個不同BN,說明一個輸出通道對應一個BN。

綜上可以得到結論:
一個卷積核 -> 一個BN -> 一個輸出通道。

剪枝裏面的基於BN層gamma係數的通道剪枝即是利用了該結論做剪枝。利用BN層的gamma係數評價對應通道的重要性,然後排序並根據gamma係數閾值剪掉BN對應的不重要通道,保留重要通道,從而達到剪枝的效果。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章