博客 https://blog.csdn.net/u010493489
邮箱 [email protected]
欢迎交流
参考文献：https://ieeexplore.ieee.org/abstract/document/7839189
利用前馈去噪卷积神经网络来去噪
使用CNN的三个优势：
1、增加利用图像特征的容量和灵活性
2、CNN的正规化和学习方法的进展：整流器线性单元（ReLU）、批量归一化和残差学习
3、GPU加速
DnCNNs：预测残留图像
SISR：单图像的超分辨率
有效的高斯降噪器
，**
1、高斯降噪图像转化为单个图像超分辨率的问题
噪声 v 是地面真实高分辨率图像和低分辨率图像的双三次上采样之间的差异，高斯降噪的图像劣化模型可以转换为单个图像超分辨率（SISR）问题
2、JPEG图像去块问题可以通过相同的图像劣化模型来建模v 作为原始图像和压缩图像之间的差异。
图像超分辨率（mage Super Resolution）：图像超分辨率是指由一幅低分辨率图像或图像序列恢复出高分辨率图像。图像超分辨率技术分为超分辨率复原和超分辨率重建。目前， 图像超分辨率研究可分为 3个主要范畴： 基于插值、 基于重建和基于学习的方法．
本文研究：通过扩展DnCNN来处理图像去噪：高斯去噪，SISR和JPEG图像去块
相关工作
A。用于去噪的深度神经网络 CNN MLP MRF K-SVD TNRD BM3D
B. 残差学习和批量标准化（DnCNN的两种方法）
CNN模型训练的优势：整流线性单元（ReLU），深度和宽度之间的权衡，参数初始化，基于梯度的优化算法]，批标准化和残余学习。
对于高斯去噪，很容易从一组高质量图像中生成足够的训练数据。
残差学习：
CNN的残差学习提出用于解决性能退化的问题。
而DnCNNs使用单个残差单元来预测残留图像。
批量归一化：在每层中的非线性之前引入归一化步骤和缩放和移位步骤来减轻内部协变量偏移。
提出的去噪CNN模型——DnCNN
训练深度CNN模型的两个步骤
1)网络架构设计，通过修改VGG网络以使得适用于图像去噪，并使用有效色块大小设置网络的深度。
2）从训练数据学习模型
采用残差学习公式，并将其与批量归一化相结合，实现快速训练和改进的去噪性能。
A
网络深度
卷积滤波器设置为33，删除所有池化层。
DnCNN的感受野深度d 应该为：（2d+1)（2d+1)
增加感受野大小能有效利用更大的图像区域的上下文信息。
选择合适的深度，可以在性能和效率之间权衡
固定噪音水平σ= 25
感受野大小设置为35*35，相应深度为17
对于其他一般图像去噪，采用更大感受野，深度设置为20
B
网络架构
网络的输入为嘈杂的图像y = x+v。
对于MLP,CSF等判别性去噪模型旨在学习映射函数：F(y) = x去预测潜在的清洁函数。
对于Dn CNN，用残差学习公式来训练残差映射
残差学习公式：R(y) ≈ v,
进而得到情节图像x = y − R(y)
所需残差图像与噪声输入的估计残差图像之间的平均均方误差公式：
可以采用损失函数来学习可训练的参数。
图一：用于学习的所提出的DnCNN的架构
DnCNN体系结构和减少边界伪影的策略
1、深层架构
DnCNN具有深度d的三种类型的图层，悠三种不同 颜色
1）Conv+ReLU, 对于第一层，64个过滤器33c用于生成64个特征映射，并校正线性单位。C表示图像通道的数量，
c=1 用于灰度图像
c=3 用于彩色图像
2）Conv+BN+ReLU 对于2----(D-1)层，64个过滤器大小为3364,并在卷积和ReLU之间添加批量标准化。
3）Conv, 对于最后一层，即D层，C过滤器大小3363用于重建输出
2、减少边界伪影
要求输出图像大小与输入图像大小保持一致，可能导致边界伪影。
在DnCNN中，俊基之前至今填充0，确保中间层的每个特征图具有与输入图像相同的大小。简单的0填充策略不会导致任何边界的伪影。
C 用于图像去噪的残差学习和批量归一化的集成
说明R(y) ≈ v更适合图像去噪
图2
基于梯度的优化算法和网络体系结构的相同设置下
基于梯度的优化算法 （1）具有动力的随机梯度下降算法（SGD）
（2）Adam算法
说明了残差学习和批量归一化的整合可以提高去噪性能。
D 与TNRD的联系
许多类型的噪声分布，例如广义高斯分布。很自然地认为它也适用于由SISR和JPEG压缩引起的噪声。可以针对若干一般图像去噪任务训练单个CNN模型，例如具有未知噪声水平的高斯去噪，具有多个放大因子的SISR，以及具有不同质量因子的JPEG去块。
E.扩展到一般图像去噪
训练各种噪声水平的噪声图像
给定噪声水平属于噪声水平范围的测试图像
去噪任务：
1、盲高斯去噪
2、SISR
3、JPEG解块
训练时，利用来自各种噪声水平的AWGN图像，具有多个放大因子的下采样图像和具有不同质量因子的JPEG图像来训练单个DnCNN模型。
第四节 实验结果
A 实验设置
训练和测试数据
1、高斯去噪
已知或未知噪声水平的高斯去噪，采用400个大小的图像 180180来训练。（）
然后评估68个自然图像的标准测试数据集上的去噪性能。
噪声水平在【0，55】，补丁带下为5050用于训练单个DnCNN模型用于盲高斯去噪。 盲高斯去噪的单个DnCNN成为DnCNN-B。
2、使用测试图像来对方法的性能进行评估。
伯克利分割数据集BSD68的68个自然图像的测试数据集，和另外12个常用图像
这些图像广泛用于评估高斯去噪方法，并不在训练数据中。
盲彩色图像去噪模型，成为CDnCNN-B
使用BSD68数据集的彩色版本进行测试，并采用Berkeley分割数据集中剩下的432个彩色图像作为训练。
3、将三个一般图像去噪任务的单个DnCNN模型成CDnCNN-3
使用MatConvNet软件包[44]来训练提出的DnCNN模型。
表2：BSD68数据集上不同方法的平均PSNR（dB）结果
表3： 12个测试图像上不同方法的PSNR结果
DnCNN-S和DnCNN-B不仅可以恢复锋利的边缘和精细的细节，而且还可以在平滑区域产生视觉上令人愉悦的结果。
E.学习单个模型进行三种一般图像去噪任务的实验
对于高斯去噪，我们使用最先进的BM3D和TNRD进行比较。BSD68数据集用于测试性能。对于BM3D和TNRD，我们假设噪声水平是已知的。
对于SISR，我们考虑两种最先进的方法，即TNRD和VDSR。TNRD训练了每个上升因子的特定模型，而VDSR 训练了所有三个升级因子（即2,3和4）的单个模型。采用四个测试数据集（即Set5和Set14，BSD100和Urban100 ）。
对于JPEG图像解块，我们将DnCNN-3与两种最先进的方法进行比较，即AR-CNN [48]和TNRD 。AR-CNN方法分别训练了JPEG质量因子10,20,30和40的四种特定模型。对于TNRD，训练了三个用于JPEG质量因子10,20和30的模型。采用Classic5和LIVE1作为测试数据集。