2018 Arxiv ： KGCNN
本篇文章是2018年預發表在Arxiv
上的一篇文章，主要是提出了一種使用核指導的卷積神經網絡（KGCNN）用於單幅圖像去除雨紋的方法。
KGCNN：a kernel guided convolutional neural network
現有的方法在某些情況下可以很好地去除雨紋。但是雨紋生成過程中本質因素即運動模糊，導致了線性模式的出現，這些都被深度學習雨紋去除方法所忽略了，這也導致了過去雨或者欠去雨的結果。
KGCNN
首先對運動模糊機制干擾的雨紋進行建模，然後框架開始學習運動模糊核，運動模糊核由角度和長度兩個因素決定，這兩個因素由一個參數網絡通過一個紋理成分的patch得到。//什麼狗屁英文。。。。
然後通過維數拉伸操作，學習到的運動模糊核拉伸成爲和雨的patch相同大小的退化圖。
然後將拉伸後的退化圖和紋理patch一起輸入到一個典型ResNet結構的去雨卷積神經網絡中去，並在學習到的運動模糊核的指導下訓練輸出雨紋。
創新之處：
1、建立了一種考慮了運動模糊核的雨紋生成模型，考慮了雨紋的重複性和方向性。
2、引入了一個參數子網絡學習運動模糊核的參數（長度和角度），與現有方法利用子網絡嵌入上下文的信息不同，該子網絡設計用於使用雨紋的生成信息。
3、提出了一種內核指導的卷積神經網絡（KGCNN）去除雨紋的方法。
網絡結構：
1、首先輸入一個含雨圖像，將含雨圖像分解爲紋理分量和結構分量。
2、然後向參數網絡輸入一個雨塊（rainy patch），輸出得到運動模糊核的角度和長度。
3、然後通過一個維數拉伸模塊，分別進行向量化、主成分分析、維度拉伸，得到一個雨塊大小的退化圖（degradation map）。
4、然後將退化圖和雨塊同時輸入一個Derain Net（是一個典型的ResNet），輸出得到一個雨紋圖。
5、最後將輸入的含雨圖像和得到的雨紋相減得到一個輸出的去雨圖像。
其中，參數網絡是一個六層的簡單網絡，去雨Derain Net是一個26層的ResNet。
具體工作：
1、觀測模型：
其中，K代表運動模糊核，θ 和l分別代表角度和長度。M代表一個raindrop mask。
同時，雨塊（rainy patch）可以分解爲高頻的紋理成分和低頻的結構成分。
紋理成分又可以分爲無雨成分和雨紋：
2、參數子網絡：
損失函數：
其中，
，將輸入紋理塊映射到參數向量。
3、維度拉伸：
首先將運動模糊核K向量化爲一個向量
。
向量化之後，通過主成分分析（PCA）將向量k投影到一個t維的線性空間中。
再然後將投影的向量拉伸得到退化圖
。
三維M中大小爲m x n的第 j 個水平切片中所有值與向量k的第 j 個元素相同。
4、去雨網絡：
3x3的卷積層
Conv + ReLU + BN
損失函數：
實驗
1、生成合成數據的方法
（1）將背景從RGB色彩空間轉換到YUV色彩空間
（2）生成raindrop mask M：通過將信噪比爲0.9 - 1.0的椒鹽噪聲添加到與背景Y通道大小相同的零矩陣中，並添加標準方差爲0.2 - 0.5的高斯模糊
（3）生成運動模糊核K： 角度從【45°，135°】中採樣，長度從15到30中取。
（4）直接添加生成的雨紋K⊗M=R到 Y通道的背景上，大於1的強度值設置爲1.
（5）將圖像轉換回RGB色彩空間
2、實驗設置
patch尺寸設置爲64×64×3
引導濾波器半徑設置爲15，正則化爲1
保持99%的能量，將核映射到一個162維空間
輸入圖像要被切分爲幾個patch
Adam優化器
learning_rate = 0.01
Python 3.5.2
TensorFlow 1.0.1
GPU NVIDIA GeForce GTX 1060
3、數據集：
Rain12
3張自己合成的圖
幾張別人合成的圖
真實圖像
4、實驗
對比指標：
峯值信噪比(PSNR)
結構相似度指數(SSIM)
特徵相似度指數(FSIM)
通用圖像質量指數(UIQI)
梯度幅度相似度偏差(GMSD，越小越好)
核的影響對比實驗
問題：
（1）網絡輸出的雨條紋是否只使用雨圖像信息而忽略了雨核信息?
（2）如果不加入核信息，保留derain網絡是否會更好?
KGCNNa表示核信息爲0的方法，KGCNNb表示訓練數據單獨訓練的去雨網絡。////b沒懂啥意思
網絡深度和濾波器數量對比實驗：
