SE-Net
在通道方向上的注意力機制
- 流程
首先對圖片進行卷積運算，然後對於feature map進行global average pooling（squeeze），把它變成1x1xC的向量，然後通過兩層FC（excitation），乘以它初始的feature map，作爲下一級的輸入。 - 爲啥加兩個FC
加上兩個FC的原因是，如果他只對feature map做pooling，只是對當前的image的scale做了處理，但是真實的scale是整個數據集的scale，所以要加上FC，讓他適應於整個數據集。 - 如何壓縮參數
第一個全連接把C個通道壓縮成了C/r個通道來降低計算量（後面跟了RELU），第二個全連接再恢復回C個通道（後面跟了Sigmoid），r是指壓縮的比例。 - 作用深度
在早期的層中，它以一種與類無關的方式激發feature，從而增強了共享的底層表示。後面較深的層中逐漸趨於無效。
FCN
- 卷積化
把最後一層的全連接換成卷積層，輸出的即爲H’xW’的heatmap
像素級別的分類 - 上卷積
把feature大小恢復到原圖片大小以供分割 - 跳躍結構 skip layers
因爲最後一層pooling之後損失了很多信息，把前幾層的pooling後的特徵圖拿過來補充