0. 寫作目的:
好記性不如爛筆頭。
1. 問題
目前的方法很少區分,不同類之間的上下文依賴,這可能會影響精度。
如:
2. 解決方法
作者使用Context Prior 來同類和不同類的(類內和類間)的關係進行建模。
作者引入 親和力loss(affinity loss) 來監督 Context Prior layer 來學習 Context Prior Map.
同時設計來了 Aggregation Module 來進行融合空間信息(與GCN類似)。
3. 模型架構
Aggregation module:k = 11,由實驗得到的
4. Affinity Map GT 的生成
H * W * C 進行 reshape到 N * C,然後A = L * L^T ,即可得到每個位置在全局位置中同類的二值,即同類的話對應位置爲1,非同類對應爲0
A =N * N 其中, N = H * W
5. Affinity loss 的計算
對 Affinity map的 loss: 獨立loss + 區域loss
最終的loss:作者也使用 輔助loss ,輔助loss的權重爲0.4, 其他loss權重爲1 。
6. 實驗結果
在兩個數據集上能提高mIOU 1%左右。
監督得到的Affinity map:
There may be some mistakes in this blog. So, any suggestions and comments are welcome!
注: 文中的圖片來自於paper。