最近學習了關於計算機視覺中的注意力機制一些基礎知識,整理下,方便複習,也分享一下;
一、前言
二、分類
也就是兩類;軟注意力與強注意力,如下
軟注意力:
爲了更清楚地介紹計算機視覺中的注意力機制,這篇文章將從注意力域(attention domain)的角度來分析幾種注意力的實現方法。其中主要是三種注意力域,空間域(spatial domain),通道域(channel domain),混合域(mixed domain)。
還有另一種比較特殊的強注意力實現的注意力域,時間域(time domain),但是因爲強注意力是使用reinforcement learning來實現的,訓練起來有所不同。
a、空間域
b、通道域
c、混合域
如下文章所示:
三、總結