對Cycle-GAN網絡結構的修改,將原論文結構(下圖)中的的ResnetGenerator(圖中的GeneratorA2B和GeneratorB2A)替換成VAEGenerator,構建了Cycle-VAE-GAN的新結構來進行相機風格間的轉換。
code:https://github.com/xr-Yang/CycleGAN-VAE-for-reid
對新結構進行了一定的實驗測試,具體實驗過程和測試過程如下。
- 實驗過程:
1.利用Cycle-VAE-GAN訓練market1501數據集下各相機風格的一個轉換模型。
2.生成各相機間風格轉換的圖像。
- 測試過程:
1.定性分析:直觀的對比兩種方法生成圖像的質量和清晰度。
2.定量分析:(1)通過FID(Frechet Inception Distance)和SSIM(Structural SIMilarity)兩個公認的評價GAN網絡生成圖像質量的指標,對比測試Cycle-VAE-GAN和Cyle-GAN生成圖像的質量。(2)通過原論文的訓練方式加入Cycle-VAE-GAN生成的圖像,對比ReID模型的mAP和rank-1
- 實驗結果
1.定性的比較兩種方法生成圖像的質量和清晰度
Cycle-VAE-GAN: Cycle-GAN:
選取ID2同一張照片從cam1->cam2的風格轉換圖,從對比圖像中直觀來看,Cycle-VAE-GAN較cycle-GAN生成的圖像更爲清晰(如左上角的房間對比,人體的輪廓),生成器的能力更爲出色,對圖像中結構的恢復更好。
2.定量對比。從模型訓練的時間,生成圖像的質量FID和SSIM得分,以及在原論文的baseline下的精度等三方面進行一個定量的對比:
(注:FID——(lower is better),SSIM——(higher is better))
從定量實驗的對比結果,可得如下結論:
1.Cycle-VAE-GAN的訓練耗時更少。將原始論文中的ResnetGenerator替換爲VAE encoder,極大的縮減了卷積層的數量,提高了訓練時間。
2.無論直觀感受還是FID,SSIM等圖像質量指標均能體現,Cycle-VAE-GAN具有更好的圖像生成能力。
3.與原論文相比,在其baseline上精度更好,mAP和Rank-1均有提升。
歡迎大家討論。