cvpr2020_CPNet_ Context Prior for Scene Segmentation

0. 寫作目的:

      好記性不如爛筆頭。

 

1. 問題

   目前的方法很少區分,不同類之間的上下文依賴,這可能會影響精度。

如:

 

2. 解決方法

作者使用Context Prior 來同類和不同類的(類內和類間)的關係進行建模。

作者引入 親和力loss(affinity loss) 來監督 Context Prior layer 來學習 Context Prior Map.

同時設計來了 Aggregation Module 來進行融合空間信息(與GCN類似)。

 

3. 模型架構

 

Aggregation module:k = 11,由實驗得到的

4. Affinity  Map GT 的生成

H * W * C 進行 reshape到 N * C,然後A = L * L^T ,即可得到每個位置在全局位置中同類的二值,即同類的話對應位置爲1,非同類對應爲0

A =N * N 其中, N = H * W

5. Affinity loss 的計算

對 Affinity map的 loss: 獨立loss + 區域loss

 

最終的loss:作者也使用 輔助loss ,輔助loss的權重爲0.4, 其他loss權重爲1 。

  

6. 實驗結果

  在兩個數據集上能提高mIOU 1%左右。

監督得到的Affinity map: 

 

 

There may be some mistakes in this blog. So, any suggestions and comments are welcome!

 

注: 文中的圖片來自於paper。

[Reference]

   paper: https://arxiv.org/abs/2004.01547

   code: https://github.com/ycszen/ContextPrior

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章