mmdetection(4):An Empirical Study of Spatial Attention Mechanisms in Deep Networks

你以爲的attention機制只有m(2)和m(3)嗎? 年輕;
mmdetection(2): DeformableConvNets(DCN)
mmdetection(3):Non-local Neural Networks

ok, 我們來分析一下,m(2)是啥,可變卷積,怎麼搞的,增加偏移量啊。
好,這是根據位置關係來確定attention。
然後的m(3)呢。根據的使兩個點的特徵,這是根據特徵搞的,
那這篇文章講了個啥呢,膜拜大神,人家把所以的attention都綜合了一下。整出這麼個玩意,別小看這個啊,這可是精華,
q表示當前點索引,Zq表示q的內容,z表示查詢點索引,x表示內容,那明顯啊,A就表示映射函數啊,dcn中的雙線性插值函數,non-local中的f函數,意思就是那些地方需要被關注,以及其特徵值,然後綜合一下就是當前點的特徵值。
在這裏插入圖片描述
那麼A有幾種形式呢,四種,以下:
E1)query 內容特徵和 key 內容特徵;(E2)query 內容特徵和 query-key 相對位置;(E3)僅 key 內容內容特徵;(E4)僅 query-key 相對位置。

有沒有發現,E2和dcn相似,E1和non-local相似啊。然後不啦不啦不啦----------一大堆比較。歐克,就這樣,具體看論文把。代碼我是看不懂了,能搞定的教教我啊

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章