原名:ACFNet: Attentional Class Feature Network for Semantic Segmentation
鏈接:Accepted to ICCV 2019,https://arxiv.org/abs/1909.09408
參考閱讀:https://blog.csdn.net/gefeng1209/article/details/102760719
一、方法簡介
不同於普通語義分割從空間角度設計利用上下文信息,提出類中心的概念,從分類的角度提取全局上下文。這個類級別的上下文描述了圖像中每個類的整體表示。進一步提出了一種新穎的模塊,稱爲注意力類別特徵(ACF)模塊,用於根據每個像素計算並自適應地組合不同的類別中心。在ACF模塊的基礎上,我們引入了一種從粗到細的細分網絡,稱爲注意力分類特徵網絡(ACFNet),它可以由ACF模塊和任何現成的細分網絡(基礎網絡)組成。
通俗來說,即是在CNN網絡中間特徵層A,對屬於類別i的像素計算屬於其i類別的平均概率,計算的結果稱之爲類別i的Class Center:屬於類別i的所有像素的平均特徵(特徵圖上的平均響應值);再將計算結果與屬於該類別的所有像素概率值相乘獲得,層作爲新的特徵連接到該中間特徵層A中繼續進行之後的網絡訓練。
二、方法創新點詳解
1、初始類別確定Class Center,CCB:Class Center Block
類別i的Class Center:屬於類別i的所有像素的平均特徵(特徵圖上的平均響應值)
理論:在label上計算
類別i的class center=(label上類別i在每個通道上對應位置預測值累加和)/(label上類別i的像素個數)
實際:在粗分割圖和特徵圖上計算,先將的維度reshape成,使用1*1卷積減少F的通道數然後reshape得到
2、Attentional class feature,CAB:class attention block
直接使用粗分割圖作爲attention map,再利用class center來計算得到attention class feature:
計算的結果與特徵層A連接再進行1*1卷積,細化計算得到的特徵,並用於繼續原始網絡進行之後的訓練。
三、實驗效果
Class Center的兩個好處:
每個類別的class center都表達了該類別的全局信息,在訓練時可以幫助模型學習到每個類別之間的鑑別力的特徵
class center可以幫助檢查一個像素與每個類別的class center之間的一致性,通過引入class center,模型可以糾正一些之前被錯分的case
1、添加到成熟的ResNet網絡中效果明顯提升
2、與其他網絡在常見類的對比
3、將ResNet101作爲基礎網絡添加ACF機制時的分割效果