注意力機制論文:Asymmetric Non-local Neural Networks for Semantic Segmentation及其PyTorch實現

Asymmetric Non-local Neural Networks for Semantic Segmentation
PDF: https://arxiv.org/pdf/1908.07678.pdf
PyTorch代碼: https://github.com/shanglianlm0525/PyTorch-Networks

1 概述

提出了一種非對稱non-local網絡結果來代替傳統的non-local模型的作用，但是其計算複雜度與內存佔用會大大減少。

2 Asymmetric Non-local Neural Network

2-1 Asymmetric Pyramid Non-local Block (APNB)

APNB將金字塔採樣利用到non-local塊中，在不犧牲性能的情況下大大降低了計算量和內存消耗，

2-2 Asymmetric Fusion Non-local Block (AFNB)

AFNB由APNB改造而來，在充分考慮到遠程依賴關係的情況下融合了不同級別的特徵。

3 Ablation

1. 跟Baseline對比，APNB比普通的NB（Non-local Block）好，說明APNB在大大降低計算量和內存佔用的同時，還提高了性能，這應該是與SPP的全局信息表示能力有關。而在高級特徵低級特徵融合方面，AFNB較普通的融合FNB更勝一籌，最後同時使用APNB和AFNB效果更好。
   
2. SPP明顯優於普通的random、max、average方法，且在SPP的池化方法中，pyramid average效果最好，而在池化尺寸的選擇上，{1，4，8，12} 效果最好，但是考慮到計算量，還是選擇 {1，3，6，8} 作爲默認值。
   

PyTorch代碼: