目录
Frequency Separation for Real-World Super-Resolution
Guided Frequency Separation Network for Real-World Super-Resolution
Frequency Separation for Real-World Super-Resolution
[ICCVW 2019] [GitHub]
Abstract
Most of the recent literature on image super-resolution (SR) assumes the availability of training data in the form of paired low resolution (LR) and high resolution (HR) images or the knowledge of the downgrading operator (usually bicubic downscaling). While the proposed methods perform well on standard benchmarks, they often fail to produce convincing results in real-world settings. This is because real-world images can be subject to corruptions such as sensor noise, which are severely altered by bicubic downscaling. Therefore, the models never see a real-world image during training, which limits their generalization capabilities. Moreover, it is cumbersome to collect paired LR and HR images in the same source domain.
提出问题：人工合成低分辨率数据与真实低分辨率数据的降质情况不统一。
最近关于图像超分辨率 (SR) 的文献大多假设有成对的低分辨率 (LR) 和高分辨率 (HR) 图像的训练数据，或者假设有降级算子的知识 (通常是双三次降尺度)。虽然所提出的方法在标准基准上表现良好，但在现实环境中往往无法产生令人信服的结果。这是因为现实世界的图像可能会受到诸如传感器噪声等干扰，这些干扰会被双三次尺度的降尺度严重改变。因此，模型在训练过程中不会看到真实的图像，这限制了它们的泛化能力。此外，在同一源域中收集 LR 和 HR 成对的图像是很麻烦的。
To address this problem, we propose DSGAN to introduce natural image characteristics in bicubically downscaled images. It can be trained in an unsupervised fashion on HR images, thereby generating LR images with the same characteristics as the original images. We then use the generated data to train a SR model, which greatly improves its performance on real-world images. Furthermore, we propose to separate the low and high image frequencies and treat them differently during training. Since the low frequencies are preserved by downsampling operations, we only require adversarial training to modify the high frequencies. This idea is applied to our DSGAN model as well as the SR model. We demonstrate the effectiveness of our method in several experiments through quantitative and qualitative analysis. Our solution is the winner of the AIM Challenge on Real World SR at ICCV 2019.
解决方法：
1） 提出了在双三次缩小图像中引入自然图像特征的 DSGAN 算法。它可以在无监督的方式下对 HR 图像进行训练，从而生成具有与原始图像相同特征的 LR 图像。然后使用生成的数据来训练一个 SR 模型，这大大提高了它在真实世界图像上的性能。
2）此外，本文在训练时将低频率和高频率的图像分开，并区别对待它们。由于低频率是通过下采样操作保存的，只需要对抗性训练来修改高频率。这种思想适用于 DSGAN 模型和 SR 模型。
实验结果：通过定量和定性分析，验证了该方法的有效性。该方法在2019年 ICCV 上真实 SR 的 AIM 挑战中获得第一名。
Method
核心思想：
step 1. 先对 HR 图像进行人工下采样，由于该过程得到的 LR 和真实的 LR 降质过程并不相同，所以要对人工下采样图像进行 域迁移。
step 2. 用迁移的图像进行 SR 网络训练，由于迁移后的图像更接近真实降质图像 LR，因此训练的 SR 网络可以有效复原真实 LR 图像的超分辨。
下面就介绍上述两个过程中网络是如何设计的。
- 域迁移
域迁移部分对应了摘要提到的解决方法 2）。先看这个 域迁移网络：
图1
B 为双三次降尺度方法，紫色场为高通滤波器和低通滤波器。红色三角形表示损失函数，橙色域表示神经网络。
注意到以下几点：
1. 该网络特别像是 一半的 cycleGAN。但正是因为只有 一半，因此域迁移可能不会那么顺利，需要提供新的先验。
2. 本文用的先验，就是人工合成的 LR 和 真实的 LR 区别在于高频分量，而不是低频分量。因为降采样过程影响最大的还是高频分量。
3. 因此，该模型最大的特点就是 高低频分离 的方式，引导网络实现 高频分量的域迁移。
- SR 网络训练
用迁移的图像进行 SR 网络训练，网络结构如下：
图2
注意以下几点：
1. 由于迁移后的图像更接近真实降质图像 LR，因此训练的 SR 网络可以有效复原真实 LR 图像的超分辨。
2. 这里在判别器上用了新的技巧，即判别器只判别高频分量是否属于同一个域，实现方式是将输入图像经过高通滤波器，只判别两个输入图像的高频分量。
Guided Frequency Separation Network for Real-World Super-Resolution
[CVPRW 2020] [GitHub]
Abstract
Training image pairs are unavailable generally in realworld super-resolution. Although the LR images can be down-scaled from HR images, some real-world characteristics (such as artifacts or sensor noise) have been removed from the degraded images. Therefore, most of state-of-theart super-resolved methods often fail in real-world scenes. In order to address aforementioned problem, we proposed an unsupervised super-resolved solution. The method can be divided into two stages: domain transformation and super-resolution. A color-guided domain mapping network was proposed to alleviate the color shift in domain transformation process. In particular, we proposed the Color Attention Residual Block (CARB) as the basic unit of the domain mapping network. The CARB which can dynamically regulate the parameters is driven by input data. Therefore, the domain mapping network can result in the powerful generalization performance. Moreover, we modified the discriminator of the super-resolution stage so that the network not only keeps the high frequency features, but also maintains the low frequency features. Finally, we constructed an EdgeLoss to improve the texture details. Experimental results show that our solution can achieve a competitive performance on NTIRE 2020 real-world super-resolution challenge.
提出问题：训练图像对通常在现实世界的超分辨率中是不可用的。虽然 LR 图像可以从 HR 图像中缩小，但一些真实世界的特征 (如人工制品或传感器噪声) 已经从退化的图像中删除。因此，大多数最先进的超分辨率方法往往在真实场景中失败。
解决方法：本文提出了一个无监督的超解决方案。该方法可分为区域变换和超分辨率两个阶段。具体贡献包括以下几个方面：
1）提出了一种颜色引导的域映射网络，解决了域变换过程中的颜色偏移问题。
2）特别地，提出了颜色注意剩余块 (CARB) 作为域映射网络的基本单元。可动态调节参数的 CARB 是由输入数据驱动的。因此，域映射网络具有强大的泛化性能。
3）此外，本文对超分辨级的判别器进行了改进，使网络在保留高频特征的同时，也保留了低频特征。
4）最后，构造了一个边缘损失来改善纹理细节。
实验结果：实验结果表明，本文的解决方案可以在 2020 年真实图像的超分辨率挑战中实现很好的性能。
Method
这里针对摘要的四个工作，分别简单介绍。
- 颜色引导的域映射网络。
整体的框架：
图3
注意到以下几点理解：
1. 这个网络特别像 一半的 cycleGAN 网络，实现域的迁移，那迁移的是什么特征呢？迁移的是高频分量。
2. 本文认为，真实低分辨率图像 z 与人工合成低分辨率图像 x 之间的差别在于 高频分量。因此，x 迁移到 z^ 的过程中，要保留原来的颜色特征（低频分量），这样网络只迁移了高频分量，此时 z^ 和 z 的高频分量属于同一个域。
3. 为了充分保留源域的低频特征，本文用了三个方法：颜色引导生成器；低频 Loss；感知 Loss。
4. 两个细节是 颜色引导生成器 和 判别器。后面继续介绍。
- 颜色注意剩余块 (CARB)
颜色引导生成器：
图4
原文：
The top half of the network is a guided parameter network, to yield the bias (mean) and weight (variance) of CARB. The bias is the global information, so we utilize several convolutions with kernel size of 3 and three global pooling layers with kernel size of 5 to extract it. After than, the original image subtracts this global information will be fed into the sigmoid layer. The global information is used as bias, and the final output value is used as weight for CARB. For the CARB, this is a residual block. We combine spatial attention [30] and AdaIN [8] idea to enhance spatial perception. Therefore, the content and color of the original image can be maintained.
网络的上半部分是引导参数网络，输出的是 CARB 的偏置 (均值) 和权值 (方差)。偏置是全局信息，所以利用几个 kernel size 为 3 的卷积和三个 kernel size 为 5 的全局 pooling 层来提取偏置。之后，原始图像减去这个全局信息将被输入到 sigmoid 层。全局信息作为偏差，最终输出值作为 CARB 的权重。对于 CARB，这是一个残留的块。结合空间注意力[30]和AdaIN[8]理念，增强空间感知。这样就可以保留原始图像的内容和颜色。
该方法注意的是 AdaIN，最近很火的方法。详细介绍可以参考一篇非常好的博客 https://zhuanlan.zhihu.com/p/158657861。
- 判别器进行了改进
图5
There is a Guassian high-pass filter before several convolution which kernel size of 3, to extract the high frequency information. This design allows the discriminator Gz(·) to treat only the highfrequency part for real and fake image, making the training of the whole GAN more stable and fast convergent.
DZ 和 DY 见图3。
在几个核大小为 3 的卷积前有一个高斯高通滤波器来提取高频信息。本设计允许 Gz(·) 判别器对真假图像只处理高频部分，使整个 GAN 的训练更加稳定和快速收敛。
- 边缘损失来改善纹理细节
Edge Loss
where FE denotes Canny operator, n is the batchsize, zi ∈ Zˆ is generated by Gx→z(·), yi ∈ Y.
这里是约束 真实高分辨率图像 和 生成高分辨率图像 的 Canny 边缘是一致的。