Cycle-VAE-GAN《Camera Style Adaptation for Person Re-identification》替換CycleGAN中生成器爲VAE

      對Cycle-GAN網絡結構的修改,將原論文結構(下圖)中的的ResnetGenerator(圖中的GeneratorA2B和GeneratorB2A)替換成VAEGenerator,構建了Cycle-VAE-GAN的新結構來進行相機風格間的轉換。

code:https://github.com/xr-Yang/CycleGAN-VAE-for-reid

   對新結構進行了一定的實驗測試,具體實驗過程和測試過程如下。

  •    實驗過程:

    1.利用Cycle-VAE-GAN訓練market1501數據集下各相機風格的一個轉換模型。

    2.生成各相機間風格轉換的圖像。

  •    測試過程:

    1.定性分析:直觀的對比兩種方法生成圖像的質量和清晰度。

    2.定量分析:(1)通過FID(Frechet Inception Distance)和SSIM(Structural SIMilarity)兩個公認的評價GAN網絡生成圖像質量的指標,對比測試Cycle-VAE-GAN和Cyle-GAN生成圖像的質量。(2)通過原論文的訓練方式加入Cycle-VAE-GAN生成的圖像,對比ReID模型的mAP和rank-1

  •   實驗結果

  1.定性的比較兩種方法生成圖像的質量和清晰度

             Cycle-VAE-GAN:                                                      Cycle-GAN:
                          
   選取ID2同一張照片從cam1->cam2的風格轉換圖,從對比圖像中直觀來看,Cycle-VAE-GAN較cycle-GAN生成的圖像更爲清晰(如左上角的房間對比,人體的輪廓),生成器的能力更爲出色,對圖像中結構的恢復更好。

 

2.定量對比。從模型訓練的時間,生成圖像的質量FID和SSIM得分,以及在原論文的baseline下的精度等三方面進行一個定量的對比:

        (注:FID——(lower is better),SSIM——(higher is better))

   從定量實驗的對比結果,可得如下結論:

  1.Cycle-VAE-GAN的訓練耗時更少。將原始論文中的ResnetGenerator替換爲VAE encoder,極大的縮減了卷積層的數量,提高了訓練時間。

  2.無論直觀感受還是FID,SSIM等圖像質量指標均能體現,Cycle-VAE-GAN具有更好的圖像生成能力。

  3.與原論文相比,在其baseline上精度更好,mAP和Rank-1均有提升。

 

歡迎大家討論。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章