關於卷積覈計算的可視化,是一個卷積覈對應一個輸出通道。
這裏直接用cs231n課程中的一張卷積動圖展示如下:
可以看到,一共用了兩個濾波器(卷積核),對應了兩個輸出通道。
常見的組合是CBL,即Conv -> BN ->activation
那Conv個數和BN個數是什麼樣的呢?我們截取Yolov3的部分結構圖看Conv個數-BN個數的關係:
輸入是416 * 416 * 3,即3通道的輸入數據,經過CBL後輸出數據是416 * 416 * 32,即32個通道輸出。
看中間部分,其中均值mean有32個,variance方差有32個,說明對應32個不同BN,說明一個輸出通道對應一個BN。
綜上可以得到結論:
一個卷積核 -> 一個BN -> 一個輸出通道。
剪枝裏面的基於BN層gamma係數的通道剪枝即是利用了該結論做剪枝。利用BN層的gamma係數評價對應通道的重要性,然後排序並根據gamma係數閾值剪掉BN對應的不重要通道,保留重要通道,從而達到剪枝的效果。