What’s new in image denoising
最近看了不少论文，闲下来对这些文章做一个总结，把握一下这个领域发展的一些小趋势吧。下面总结主要以去噪方法为主，辅助介绍一些图像复原任务中的通用方法。Let’s do it！
下面主要从以下几个方面介绍：
- 数据预处理
- 网络结构
- 多任务结合和先验
数据预处理
1. RAW vs RGB
现在越来越多的去噪方法应用于RAW域。RAW域与RGB域比起来，噪声模式更为简单，一般可以描述为泊松分布与高斯分布的叠加或者异方差高斯分布。从RAW到RGB会经过一系列ISP流程，如demosaic等，这些操作会使得噪声分布更加复杂，使其变得与空间位置和颜色相关。在以前RGB图像去噪中，我们常用添加高斯噪声方法来模拟这种复杂的噪声分布，难免与实际噪声分布存在差异，所以在真实噪声图像上应用往往效果会有所下降。而在RAW域，无论是真实拍摄的图像的噪声去除还是人工添加噪声模拟噪声分布，往往都更加方便、有效。从google的hdr+，到其多帧KPN方法，都是在RAW域进行去噪，以及其最近CVPR的文章也介绍了如何用RGB图像生成RAW数据以用于训练数据集的建立（见下图），并在DND测试数据集的RAW域去噪中取得了最高PSNR的成绩。另外，CVPR2019 的Workshop中，也有一项真实图像去噪挑战赛，其分为了RAW-RGB比赛和sRGB比赛两部分，届时会有更多RAW域去噪的方法被提出。
2. 噪声方差
噪声方差是噪声的一个重要的属性，特别是当实际遇到的噪声都是零均值分布时，噪声方差就成了噪声分布的唯一标识。噪声方差越大，说明噪声变化的更加剧烈，往往也更难以去除，或者在去噪中往往会丢失更多的纹理细节。在传统去噪方法，如BM3D，WNNM中，往往需要噪声方差作为可调参数输入控制去噪水平。而将噪声方差作为网络输入也可以使得网络对不同的强度的噪声有更好的鲁棒性，这在FFDNET和KPN中都已经做了说明。噪声方差的估计方法有很多，其都是将噪声视为高斯分布（RAW域视为异方差高斯分布）。CBDNET将噪声方差估计整合到网络中，取得了state-of-art的效果。
3. 数据的获取
数据集的建立对网络训练至关重要。而正如在去噪数据集中提到的，real noisy-clean pairs往往难以获取。所以有一些文章讨论如何利用已有的数据集生成更加真实的噪声图像。有用添加高斯噪声的图像模拟真实噪声分布的方法，如这篇文章中提到的；或者像上面提到的，用RGB图像生成RAW数据，然后在RAW域上添加噪声；也有一篇文章用GAN生成噪声添加到图像上，也是一种有趣的思路。当然，有些方法另辟蹊径，探索在没有noisy-clean pairs条件下训练去噪网络，这就有了Noise2noise、Noise2void、Noise2self等系列文章。
网络结构
新的网络结构可谓是层出不穷，这应该是大部分论文在做的事。改一下网络结构，在现有数据集上跑一下，通用指标比较一下，得分高一点，发论文（笑哭）。当然调侃归调侃，能够提出一种有效的网络结构还是不容易的，特别是那些有通用性、能即插即用的结构还是让人觉得十分精巧。下面提到的网络结构许多都具有通用性，而且很多是从high-level任务中移植过来的，但只介绍其在low-level中的应用情况。
1. 充分利用低层特征
对于一个CNN来说，前面的卷积层往往代表着低层特征，如像素级特征。而后面的卷积层往往是高层特征，如语义特征等。
对于识别、分类等high-level任务，高层特征往往更加重要。而对于去噪，超分辨等low-level任务来说，更要充分利用低层的像素级特征。这也是RDN中所强调的，其使用了dense block来使用底层特征。
而在图像生成任务中，U-net（见下图）往往比encoder-decoder效果更好。这也是因为多了skip-connect结构利用了低层特征。
2. 多尺度
多尺度结构往往是为了获取更大的感受野。最简单的方法当然是用不同的卷积核，但是大卷积核往往会造成参数和计算量的增大。另一种方式是下采样，经典的方法如U-net多次下采样，缩小特征尺寸。而下采样往往会造成信息的丢失，所以U-net需要用skip-connect借助于低层特征上采样，恢复图像尺寸。而膨胀卷积（dilated convolution）可以在不改变图像尺寸的基础上获得更大的感受野，如这篇文章的应用。
3. 注意力机制
注意力机制（Attention）使得网络重点关注那些对任务更有作用的特征。在low-level中用到的是两种attention结构：空间注意力（space attention）和通道注意力（channel attention）。
空间注意力是使用non-local模块实现的，其类似于传统去噪中的non-local mean方式，利用空间其他特征点与当前特征点的相关程度对当前特征点做加权。相关方法如NLRN、RNAN等。计算non-local模块往往比较耗时，NLRN提出对于去噪来说，往往不需要关注全局所有点的特征，只需要计算当前点的一个局部范围的non-local module就可以了。
通道注意力是使用squeeze-and-excitation模块实现的。其认为各通道的特征是有冗余的，通过对各个特征通道做加权，使得网络更加关注那些重要的通道。该模块计算量小且效果不错，因此受到广泛应用，相关方法如RCAN、RIDNET等。
多任务结合和先验
图像去噪，超分辨等图像复原任务本身是欠定的，也就是说一张退化的图像可能对应多张原始图像。在传统方法里我们常常给予许多先验知识来帮助图像复原，在网络中也可以借鉴这个思路。SFTGAN使用图像分割的先验信息，通过告诉网络各位置像素的纹理类别，从而恢复更加准确的纹理。
其次，图像的噪声强度往往不是均匀的，以及对于同一张图像的不同区域我们可能有不同的期望。比如对于纹理丰富的区域我们有可能会容忍一定的噪声从而保持更多的纹理；而对于平滑区域，我们会期望噪声去除得更加干净。Path-Restore方法提供了一种思路，对于同一张图像的不同区域使用不同的网络路径来处理，从而在保持效果同时提高效率。
另外，将图像去噪与high-level任务结合起来，两个任务相互协作，提高彼此的效果，也是一条不错的道路。比如这篇文章将图像去噪网络与图像分类/分割网络串联在一起，借助于高层视觉的损失提升去噪的效果。
结论
无论为了获取更好看的照片还是作为其他任务的预处理，图像去噪都是必不可少的环节。现在的图像去噪方法更加关注于真实图像的去噪。如何获取更快速和轻量级的方法，如何平衡噪声去除和纹理保持的效果，都是图像去噪不断追求的目标。