讀CycleGAN文章

    這篇文章信息量有點大!文章的標題叫做Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

這裏的unpaired 指的就是兩個不同domain的圖片集,不是配對的,不是一一對應的,是無序的,實際上,現實中配對的數據並不

容易獲得,所以CycleGAN 是無監督的!

例如,斑馬轉化爲馬,夏天風景轉換爲冬天的風景。

 

摘要部分:

      主要提到了cycle consistency loss,下圖中體現在 x 與 F(G(x)) 比較接近, y與F(G(Y)) 比較接近,這個約束了G(x)生成的圖片跟原始的輸入圖片不要相差太大。

 

 

簡介部分:

     首先就是提到了配對問題的數據收集上是比較困難的,所以提出了這個算法,該算法假設在兩個domain下有一些潛在的關係。雖然對於每張圖片來說不配對,屬於非監督的。但是在集合層面,可以認爲是有監督的,即X 集合 ->Y 集合。如果採用如下方式進行訓練,不能保證輸入x和輸出y是有意義的轉換,非常多的G會生成 y_hat的圖片,也能滿足adversal的要求,會導致常見的一個問題

mode collapse,這裏用了cycle consistent 來解決。

 直覺上,如果我們把英文的句子翻譯成法文,然後將法文翻譯成英文,應該能回覆到原始的英文。從數學角度來說,引入兩個生成器G 和 F ,G(x) -> Y , F(Y) -> X , 要使得 F(G(X)) 與 X 越接近越好, G(F(Y)) 與Y 越接近越好。作者利用上述的方法在風格變換,季節變換,圖片增強上有所應用。 

 

目標函數

這裏表示X->Y的過程,同理,我們可以定義類似的目標函數表示Y->X的過程,即

另外,cycle consistency loss 有如下定義:

所以cycle gan總的損失函數爲:

目標就是求解

 

refer:https://arxiv.org/pdf/1703.10593.pdf

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章