圖像分割算法之FCNs in the Wild論文詳解

論文:FCNs in the Wild: Pixel-level Adversarial and Constraint-based Adaptation

文章的研究動機是什麼?

減小源域和目標域之間的域間差異,使得使用源域的圖片和Label訓練的分割模型可以用於目標域的分割。

關於Domain Adaptation Segmentation的介紹,之前文章中介紹過,如果不是很瞭解,詳見下文介紹。

AI圖像分割算法|瞭解減小域間差異的分割算法LSD-seg

這篇文章方法

1、網絡架構

2、方法:

本文提出了一種基於全卷積網絡的無監督域自適應語義分割框架。利用全局(Global Domain Alignment)和具體類別(Category Specific Adaptation)兩方面的特徵對齊減小Domain Shift進行分割。

(1)Global Domain Alignment

利用encoder網絡對source domain和target domain的圖片進行提取圖片特徵,利用圖片特徵進行對抗訓練,如圖中Domain Adversarial Training,同對抗訓練,使得提取到的特徵具有相似的數據分佈,使得Source domain image提取的特徵與target image提取的特徵相似,對齊全局整體信息。

如何進行對抗訓練?

一般的對抗生成網絡,有一個生成器和一個判別器,訓練判別器時,使得判別器對真實的圖片和生成的圖片有很好的判別能力,能夠判別真假,而生成器則希望生成的圖片足夠的真實,可以騙過判別器,讓判別器將其判別爲真。而這兩個之間有一定的矛盾,也就是這個矛盾構成了“對抗”。而這裏針對一個特徵提取器和一個分類判別器,如何構成這個“對抗”關係,利用GAN的原理進行訓練呢?

定義encoder網絡提取到的特徵,以及分類網絡對每一個像素預測爲每一個類別可能性:

domain classifier loss:

判別器判別出source domain image 提取的特徵爲Fake,target domain image 提取的特徵爲Real.

inverse domain loss :

判別器判別出source domain image 提取的特徵爲Real,target domain image 提取的特徵爲Fake.

整體對抗Loss:

從上面可以看出LD和LDinv是矛盾的,而這裏兩個Loss通過迭代訓練,可以實現對抗訓練的目的。

(2)Category Specific Adaptation

利用全卷積約束的MIL Loss[1]對齊類別空間局部信息,通過約束圖片中類別的存在與否以及物體的尺寸,從而完成具體類別上的信息對齊。[1] Fully convolutional multi-class multiple instance learning. In ICLR

如何約束圖片中類別的存在與否?

通過上一篇文章中定義的MIL Loss進行約束,利用每一個類別對應feature map的預測最大分值,構建損失函數,促使存在的類別具有較大的預測分值,抑制不存在的類別的存在。

MIL Loss詳見下文:

如何使用圖片級類別標註對像素級分割任務進行訓練之MIL Loss詳解

如何約束圖片中不同類別的尺寸?

對於有label的source domain,統計每一類物體的label的像素數目佔整個圖片尺寸的比例,由於aource domain 和target domain擁有共同的label space,所以Source domain統計的數據比例關係可以預測target domain的比例關係。

對於每一類的統計數據,定義像素百分比lower 10% boundary爲αc,定義the upper 10% 爲γc, 定義the average value爲δc。即對數據集中的特定類c,將該類物體在圖片中所佔的比例大小進行排序,統計出αc、γc、δc具體的百分比數值。

對於class c,約束該類別佔圖片像素中的百分比爲所有數據的最大10%和均值之間。鬆弛下界但不能鬆弛上界,約束類別在圖片中所佔的比例。

約束圖片中不同類別物體尺寸,達到平衡數據集的作用,使得不會因爲物體過小而被網絡忽略。

3、損失函數:

Lseg爲普通的用於分割的交叉熵Loss,Lda爲Global Domain Alignment部分的損失函數,Lmi爲Category Specific Adaptation部分的損失函數。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章