0. 寫作目的
好記性不如爛筆頭。
1. 問題
ADE20K 數據集存在的一些問題:
1, 錯分: 圖2第一行,船被誤分爲車了。 如果使用了全局信息,則可以避免這種情況。
2。 迷惑的類別: 第二行,建築和摩天大樓。
3。 不易區分的類別: 枕頭
2. 解決方法
融合全局信息提高分割結果
2.1 模型
模型:
其中(b)feature map得到的是 在採樣8倍的特徵。
然後通過average pooling得到 1*1, 2*2, 3*3和 6*6的特徵圖, 然後使用1*1conv 對特徵圖壓縮通道, 壓縮爲原來通道的 1/N, 其中N爲 pool的個數,這裏爲4。
再對不同的pool結果進行上採樣,然後與 feature進行 concate。 再使用conv得到最終的結果。
2.2 輔助loss
同時,訓練時,添加來一個輔助loss,這個方式與 BiSeNet v1 的操作相似。, 該輔助loss 的權重爲0.4,是通過實驗得到的。
輔助loss權重的實驗:
3.3 實驗結果
實驗效果很不錯,提高mIOU較多。
增大backbone效果更好:
與其他方法對比:
There may be some mistakes in this blog. So, any suggestions and comments are welcome!
注: 文中圖來源於paper。