文献阅读:Efficient Super Resolution For Large-Scale Images Using Attentional GAN

1 简单介绍:

    目前的SR方法解决的都是小尺寸的数据小于500px,本文提出的是针对大尺寸的数据比如大于2000px的商业数据。本文的创新之处:

  1. 提出一种新奇的使用注意力机制的SRGAN方法,叫做A-SRGAN,他是吸收了SAGAN的思想,然后哩由于处理的是大尺度的数据,所以作者针对此提出Flexible Self Attention layer(FSL)层。这个就是在SA基础上在前端加了maxpooling,后端加了deconv。
  2. 验证了SRGAN在大规模数据的有效性上
  3. 当处理大范围数据的时候crop尺寸是很重要的,对其进行了讨论,发现大的crop size可以处理object inconsitency以及long-term dependency等问题。
  4. 分布式算法处理gans,也就是使用多块gpu进行并行处理。(怎么感觉和pytorch多gpu处理数据道理很类似)

2 和SRGAN不同之处

    我们提出的A-SRGAN模型相对于SRGAN模型修改了2个地方:

  1. 提出了FSA(Flexible self attention)层,是考虑了长范围的依靠以及大尺寸条件下的物体不一致性。这里在之前的SAGAN的基础上加上一个Flexible。原因就是因为我们这里处理的图像的scale尺寸可能比较大,所以的话我们首先先maxpooling一下降低它的的尺寸,然后我们在经过SA layer,之后的话我们在经过一个deconv层让其恢复之前的尺寸。
  2. 我们也对卷积层和全连接层引入了光谱正则化,作为权重的正则化操作。spectral normalization(光谱正则化)相当于是权重初始化的扩展,这个已经证明了光谱正则化会帮助我们在gan的过程中收敛的更好和更快。 和SN原文不同的是,这里我们在生成器和判别器都使用了SN层。

    注意一下,我们在训练阶段因为我们使用的crop进行训练,因此可以直接使用SA进行计算就可以啦,但是在测试的时候因为尺寸是比较大的话,那么我们就使用FSA层就可以了。

3. 网络结构

FSA结构,和SA很类似,参考上文。
在这里插入图片描述
A-SRGAN结构,和SRGAN相比加了SN, FSA。
在这里插入图片描述
分布式多结构:
在这里插入图片描述
有关SAGAN可以参考一下:

  1. 文章地址:Self-Attention Generative Adversarial Networks
  2. 项目地址:Self-Attention-GAN
  3. paper weekly
  4. CSDN: SAGAN——Self-Attention Generative Adversarial Networks
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章