ACFNet:用於語義分割的注意類特徵網絡

原名:ACFNet: Attentional Class Feature Network for Semantic Segmentation

鏈接:Accepted to ICCV 2019,https://arxiv.org/abs/1909.09408

參考閱讀:https://blog.csdn.net/gefeng1209/article/details/102760719

一、方法簡介

不同於普通語義分割從空間角度設計利用上下文信息,提出類中心的概念,從分類的角度提取全局上下文。這個類級別的上下文描述了圖像中每個類的整體表示。進一步提出了一種新穎的模塊,稱爲注意力類別特徵(ACF)模塊,用於根據每個像素計算並自適應地組合不同的類別中心。在ACF模塊的基礎上,我們引入了一種從粗到細的細分網絡,稱爲注意力分類特徵網絡(ACFNet),它可以由ACF模塊和任何現成的細分網絡(基礎網絡)組成。

通俗來說,即是在CNN網絡中間特徵層A,對屬於類別i的像素計算屬於其i類別的平均概率,計算的結果稱之爲類別i的Class Center:屬於類別i的所有像素的平均特徵(特徵圖上的平均響應值);再將計算結果與屬於該類別的所有像素概率值相乘獲得層作爲新的特徵連接到該中間特徵層A中繼續進行之後的網絡訓練。

二、方法創新點詳解

1、初始類別確定Class Center,CCB:Class Center Block

類別i的Class Center:屬於類別i的所有像素的平均特徵(特徵圖上的平均響應值)

理論:在label上計算

類別i的class center=(label上類別i在每個通道上對應位置預測值累加和)/(label上類別i的像素個數) 

實際:在粗分割圖P_{coarse}\in \mathbb{R}^{N*H*W}和特徵圖F\in\mathbb{R}^{C*H*W}上計算,先將P_{coarse}的維度reshape成\mathbb{R}^{N*HW},使用1*1卷積減少F的通道數然後reshape得到F^{'}\in\mathbb{R}^{C^{'}*HW}

 

2、Attentional class feature,CAB:class attention block

直接使用粗分割圖作爲attention map,再利用class center來計算得到attention class featureF_{a}

 

計算的結果與特徵層A連接再進行1*1卷積,細化計算得到的特徵,並用於繼續原始網絡進行之後的訓練。



三、實驗效果

Class Center的兩個好處:

每個類別的class center都表達了該類別的全局信息,在訓練時可以幫助模型學習到每個類別之間的鑑別力的特徵
class center可以幫助檢查一個像素與每個類別的class center之間的一致性,通過引入class center,模型可以糾正一些之前被錯分的case

1、添加到成熟的ResNet網絡中效果明顯提升

2、與其他網絡在常見類的對比

3、將ResNet101作爲基礎網絡添加ACF機制時的分割效果

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章