一、Residual Attention Network 簡介
這是CVPR2017的一篇paper，是商湯、清華、香港中文和北郵合作的文章。它在圖像分類問題上，首次成功將極深卷積神經網絡與人類視覺注意力機制進行有效的結合，並取得了遠超之前網絡結構的準確度與參數效率。僅用與ResNet-50相當的參數量和計算量就得到了遠超過ResNet-152的分類性能。
二、Residual Attention Network 的提出
視覺注意力機制是人類視覺所特有的大腦信號處理機制。人類視覺通過快速掃描全局圖像獲得需要關注的目標區域，而後重點獲取所需要關注的目標信息，抑制其他無用信息。人類視覺注意力機制極大的提高了視覺信息處理的效率與準確性。注意力機制已經在自然語言處理中取得了重大成功。但在計算機視覺任務中，如何將視覺注意力機制有效的嵌入到神經網絡結構並提升網絡性能成爲亟待解決的問題。所以本篇論文就做了這方面的嘗試，基本想法就是受attention mechanism 和residual的激勵，考慮把兩者放在一起實現更好的效果。
三、Residual Attention Network 論文詳解
Abstract：
論文提出了Residual Attention Network，一種使用注意機制的卷積神經網絡，它可以以端到端的訓練方式與最新的前饋網絡結構相結合。Residual Attention Network是通過堆疊多個注意模塊Attention Module來構建的，這些模塊產生注意力