卷積神經網絡的理解 Squeeze-and-Excitation (SE)網絡

對於CNN網絡來說,其核心計算是卷積算子,其通過卷積核從輸入特徵圖學習到新特徵圖。從本質上講,卷積是對一個局部區域進行特徵融合,這包括空間上(H和W維度)以及通道間(C維度)的特徵融合

我們可以發現卷積實際上是對局部區域進行的特徵融合。 這也導致了普通卷積神經網絡的感受野不大,當然你也可以設計出更多的通道特徵來增加這個,但是這樣做導致了計算量大大的增加。因此爲了空間上融合更多特徵融合,或者是提取多尺度空間信息。也提出了許多不同的方法如Inception網絡的多分支結構。對於channel維度的特徵融合,卷積操作基本上默認對輸入特徵圖的所有channel進行融合。而SENet網絡的創新點在於關注channel之間的關係,希望模型可以自動學習到不同channel特徵的重要程度。爲此,SENet提出了Squeeze-and-Excitation (SE)模塊,如下圖所示:


在這裏SENet實際上是對整個輸入feature進行操作,感受野可以覆蓋到整個輸入feature上,這對於網絡來說是一個有益的語義信息補充。

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章