2018 Arxiv ： KGCNN
本篇文章是2018年预发表在Arxiv
上的一篇文章，主要是提出了一种使用核指导的卷积神经网络（KGCNN）用於单幅图像去除雨纹的方法。
KGCNN：a kernel guided convolutional neural network
现有的方法在某些情况下可以很好地去除雨纹。但是雨纹生成过程中本质因素即运动模糊，导致了线性模式的出现，这些都被深度学习雨纹去除方法所忽略了，这也导致了过去雨或者欠去雨的结果。
KGCNN
首先对运动模糊机制干扰的雨纹进行建模，然后框架开始学习运动模糊核，运动模糊核由角度和长度两个因素决定，这两个因素由一个参数网络通过一个纹理成分的patch得到。//什么狗屁英文。。。。
然后通过维数拉伸操作，学习到的运动模糊核拉伸成为和雨的patch相同大小的退化图。
然后将拉伸后的退化图和纹理patch一起输入到一个典型ResNet结构的去雨卷积神经网络中去，并在学习到的运动模糊核的指导下训练输出雨纹。
创新之处：
1、建立了一种考虑了运动模糊核的雨纹生成模型，考虑了雨纹的重复性和方向性。
2、引入了一个参数子网络学习运动模糊核的参数（长度和角度），与现有方法利用子网络嵌入上下文的信息不同，该子网络设计用于使用雨纹的生成信息。
3、提出了一种内核指导的卷积神经网络（KGCNN）去除雨纹的方法。
网络结构：
1、首先输入一个含雨图像，将含雨图像分解为纹理分量和结构分量。
2、然后向参数网络输入一个雨块（rainy patch），输出得到运动模糊核的角度和长度。
3、然后通过一个维数拉伸模块，分别进行向量化、主成分分析、维度拉伸，得到一个雨块大小的退化图（degradation map）。
4、然后将退化图和雨块同时输入一个Derain Net（是一个典型的ResNet），输出得到一个雨纹图。
5、最后将输入的含雨图像和得到的雨纹相减得到一个输出的去雨图像。
其中，参数网络是一个六层的简单网络，去雨Derain Net是一个26层的ResNet。
具体工作：
1、观测模型：
其中，K代表运动模糊核，θ 和l分别代表角度和长度。M代表一个raindrop mask。
同时，雨块（rainy patch）可以分解为高频的纹理成分和低频的结构成分。
纹理成分又可以分为无雨成分和雨纹：
2、参数子网络：
损失函数：
其中，
，将输入纹理块映射到参数向量。
3、维度拉伸：
首先将运动模糊核K向量化为一个向量
。
向量化之后，通过主成分分析（PCA）将向量k投影到一个t维的线性空间中。
再然后将投影的向量拉伸得到退化图
。
三维M中大小为m x n的第 j 个水平切片中所有值与向量k的第 j 个元素相同。
4、去雨网络：
3x3的卷积层
Conv + ReLU + BN
损失函数：
实验
1、生成合成数据的方法
（1）将背景从RGB色彩空间转换到YUV色彩空间
（2）生成raindrop mask M：通过将信噪比为0.9 - 1.0的椒盐噪声添加到与背景Y通道大小相同的零矩阵中，并添加标准方差为0.2 - 0.5的高斯模糊
（3）生成运动模糊核K： 角度从【45°，135°】中采样，长度从15到30中取。
（4）直接添加生成的雨纹K⊗M=R到 Y通道的背景上，大于1的强度值设置为1.
（5）将图像转换回RGB色彩空间
2、实验设置
patch尺寸设置为64×64×3
引导滤波器半径设置为15，正则化为1
保持99%的能量，将核映射到一个162维空间
输入图像要被切分为几个patch
Adam优化器
learning_rate = 0.01
Python 3.5.2
TensorFlow 1.0.1
GPU NVIDIA GeForce GTX 1060
3、数据集：
Rain12
3张自己合成的图
几张别人合成的图
真实图像
4、实验
对比指标：
峰值信噪比(PSNR)
结构相似度指数(SSIM)
特征相似度指数(FSIM)
通用图像质量指数(UIQI)
梯度幅度相似度偏差(GMSD，越小越好)
核的影响对比实验
问题：
（1）网络输出的雨条纹是否只使用雨图像信息而忽略了雨核信息?
（2）如果不加入核信息，保留derain网络是否会更好?
KGCNNa表示核信息为0的方法，KGCNNb表示训练数据单独训练的去雨网络。////b没懂啥意思
网络深度和滤波器数量对比实验：
