读CycleGAN文章

    这篇文章信息量有点大!文章的标题叫做Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

这里的unpaired 指的就是两个不同domain的图片集,不是配对的,不是一一对应的,是无序的,实际上,现实中配对的数据并不

容易获得,所以CycleGAN 是无监督的!

例如,斑马转化为马,夏天风景转换为冬天的风景。

 

摘要部分:

      主要提到了cycle consistency loss,下图中体现在 x 与 F(G(x)) 比较接近, y与F(G(Y)) 比较接近,这个约束了G(x)生成的图片跟原始的输入图片不要相差太大。

 

 

简介部分:

     首先就是提到了配对问题的数据收集上是比较困难的,所以提出了这个算法,该算法假设在两个domain下有一些潜在的关系。虽然对于每张图片来说不配对,属于非监督的。但是在集合层面,可以认为是有监督的,即X 集合 ->Y 集合。如果采用如下方式进行训练,不能保证输入x和输出y是有意义的转换,非常多的G会生成 y_hat的图片,也能满足adversal的要求,会导致常见的一个问题

mode collapse,这里用了cycle consistent 来解决。

 直觉上,如果我们把英文的句子翻译成法文,然后将法文翻译成英文,应该能回复到原始的英文。从数学角度来说,引入两个生成器G 和 F ,G(x) -> Y , F(Y) -> X , 要使得 F(G(X)) 与 X 越接近越好, G(F(Y)) 与Y 越接近越好。作者利用上述的方法在风格变换,季节变换,图片增强上有所应用。 

 

目标函数

这里表示X->Y的过程,同理,我们可以定义类似的目标函数表示Y->X的过程,即

另外,cycle consistency loss 有如下定义:

所以cycle gan总的损失函数为:

目标就是求解

 

refer:https://arxiv.org/pdf/1703.10593.pdf

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章