這裏是2017年一些頂會或頂刊上的一些去雨方向上的文章，做一個簡略的記錄。
這篇文章記錄2017年的一些視頻去雨或傳統方法。
2017
1.Error-optimized sparse representation for single image rain removal (2017 TIE)
基於誤差優化稀疏表示的單幅圖像去雨
文章主要提出了一種基於誤差優化稀疏表示模型（EOSR）的雨紋去除方法，也是一種傳統方法。
該EOSR模型從稀疏表示模型出發，考慮到動態的塊誤差約束，可以計算出每個圖像塊，然後利用非優勢排序的遺傳算法對每個patch進行優化，實現單幅圖像雨斑去除的多目標追求。與以往基於字典分割的雨紋去除方法相比，該模型在優化了 patch 誤差約束的基礎上靈活地表示每個圖像patch。
EOSR模型的稀疏圖像表示和誤差優化稀疏重建：
1、由稀疏表示原理，數據保真項的patch誤差較大，因此圖像表示更爲平滑。該平滑表示使得在稀疏圖像表示階段，可以從測量的雨圖像中去除雨條紋，生成一個潛在的無雨圖像，使用動態patch誤差約束。
2、基於上述特點，在誤差優化稀疏重建階段，採用非優勢排序的遺傳算法(NSGA-II)對無雨圖像進行多目標優化，得到紋理更明顯、雨效果更小的無雨圖像重建。
之前的方法：稀疏編碼、字典學習、低秩矩陣、層先驗的方法
創新之處：
1、提出了一種基於誤差優化的稀疏表示模型。
2、可用於基於期望目標的圖像重建，從而實現多目標追蹤的稀疏表示計算。
3、能夠從單一圖像中去除多雨效應。
模型框架：
誤差優化稀疏重建階段使用的非優勢排序遺傳(NSGA-II)算法流程圖：
實驗數據：八張256x256的灰度圖片
對比對象：字典學習的兩種方法
對比指標：MSE、PSNR、SSIM、VIF視覺信息保真度
2.Hierarchical: A Hierarchical Approach for Rain or Snow Removing in a Single Color Image (2017 TIP)
基於分層方法的單幅彩色圖像雨雪去除
傳統方法。
文章主要使用圖像分解和字典學習設計了一個三層的分層方案，用於提取高頻成分中的圖像細節。
首先使用雨雪檢測和指導濾波器的組合將輸入圖片分解爲低頻和高頻成分，低頻成分幾乎沒有雨雪，高頻成分則包含了雨雪以及圖像的細節。
第一層：訓練得到一個過完備的字典進行三次分類，利用雨雪的一些共同特徵將高頻分爲雨雪和非雨雪成分
第二層：對第一層得到的雨雪分量進行另一種雨雪檢測和指導濾波的組合。
第三層：計算不同顏色通道的方差靈敏度(SVCC)，提高雨雪去除圖像的視覺質量。
文章主要內容：
1、概述了雨和雪的幾個共同特徵，並定義了兩個度量，即跨顏色通道的靈敏度(SVCC)和圖像patch的主方向(PDIP)。
2、利用雨雪檢測與指導濾波器(低通濾波器)相結合的方法，得到了一個幾乎無雨無雪的低頻部分，而相應的高頻部分則與低頻部分形成互補。
3、設計了一種從高頻部分提取圖像細節的三層結構。具體來說，第一層是基於訓練字典(過完備)的3次分類，第二層是另一種雨雪檢測與引導濾波的組合，第三層是利用SVCC增強雨雪去除圖像的視覺質量。
雨雪的三個共同特徵：
1、由於雨雪反射強烈，高強度值往往出現在受雨雪影響的像素處。因此，圖像中雨雪像素的值通常大於相鄰的非雨雪像素。
2、邊緣跳躍通常存在於雨帶或雪花與其水平鄰域之間的自然圖像中。因此，一個包含雨雪的圖像patch通常會產生較大的平均絕對水平梯度。
3、由具體實例，高頻部分的雨雪像素爲灰色或淺白色，高頻部分的雨雪像素的三個顏色通道的值幾乎相同，雨雪像素的絕大多數顏色方差確實接近於零，而所選的非雨雪像素的方差則是跨越較大的像素範圍。
顏色通道方差靈敏度(SVCC，Sensitivity of Variance of Color Channels ) ：
由第三條特性，定義一個顏色通道來區分動態成分（雨雪）和其他成分的差異性。
圖像塊的主成分方向 ( PDIP，Principal Direction of an Image Patch ) ：
雨紋通常有一致的下落方向。可用直方圖定向梯度（HOG）分離雨紋。
使用K-means方法，我們可以從一個圖像中對雨或雪進行分類。
將具有最大值的HOG bin對應的角度定義爲圖像patch (PDIP)的主方向，從而在我們的工作中識別雨雪。
算法框架：
總框架和step1：
step2：
字典原子和稀疏重建的分類：
3.Matrix decomposition: Video Desnowing and Deraining Based on Matrix Decomposition (2017 CVPR)
基於矩陣分解的視頻去雪去雨
本文主要提出了一種基於矩陣分解的視頻去雪去雨模型。
強降雪降雨及動態場景難以解決的原因：
1、現有方法中作的假設是所有的雪花和雨紋是稀疏的。
2、現有方法不能區分移動的物體和雪花雨紋。
雨紋劃分+MRFs+組稀疏項
文章主要內容：
- 對於暴雨場景，雨條紋具有複雜的光度和物理性質，單一的模型很難對所有雨條紋進行建模。因此，我們將降雨條紋分爲稀疏條紋和密集條紋，並在矩陣分解框架中分別對它們進行建模。這個過程使我們的模型能夠有效地應對暴雨。
- 在雨帶的誤導下，運動物體在雨景中很難被檢測和過濾。基於背景波動和流量信息，我們將稀疏雨條紋和運動目標的檢測方法表示爲多標籤MRFs。
- 由於檢測錯誤或濾波不當，現有的方法往往會造成運動物體的變形和僞影。爲了避免這個問題，我們設計了一個組稀疏項來過濾移動對象中的雨像素。
一幅包含雨雪的圖片構成：
4.Joint Convolutional Analysis and Synthesis Sparse Representation (2017 ICCV)
聯合卷積分析和合成稀疏表示的單幅圖像層分離
文章主要利用ASR和SSR的互補表示機制提出了一種聯合卷積分析和合成(JCAS)稀疏表示模型。
分析稀疏表示(ASR)和合成稀疏表示(SSR)是兩種典型的基於稀疏的圖像建模方法。
圖像在SSR中主要由非零係數來描述，而在ASR中主要由零指數來描述，這兩種模型在對圖像不同分量的逼近上有優勢。
採用卷積實現來更有效地利用圖像的全局信息。
在JCAS中，單個圖像被分解成兩層，一層由ASR近似表示圖像的大尺度結構，另一層由SSR表示圖像的細尺度紋理。在JCAS中自適應學習合成字典來描述不同的單幅圖像層分離任務的紋理模式。
ASR和SSR的互補特性使得所提出的JCAS能夠有效地提取圖像紋理層，而不需要對背景層進行過度平滑，可以靈活地對不同類型的圖像結構進行建模。
啓發點：
Starck等人利用一個總變分項和一個基於合成的稀疏重建項來進行卡通紋理分解。
創新點：
JCAS模型在SSR部分採用了卷積實現。卷積實現避免了傳統SSR方法中的patch分割問題，並使所提出的方法僅從輸入圖像本身學習幾個原子來對複雜(但高度重複的)紋理建模。
文章主要內容：
首先，我們分析了ASR和SSR模型的互補性質，並結合ASR和SSR將單個圖像分解成具有明確物理意義的兩層。JCAS模型有望爲許多涉及圖像層分離的應用提供基於稀疏的新方法的設計。
其次，在沒有外部訓練數據的情況下，所提出的JCAS模型在去除雨條紋、高動態範圍圖像色調映射和對比度增強等不同任務上都取得了較好的效果。JCAS生成的結果不僅具有較高的定量指標，而且具有較好的視覺質量。
對比了五種傳統方法，數據選用了之前論文的十四張圖片。
5.Joint Bi-layer Optimization (2017 ICCV)
基於聯合雙層優化的單幅圖像雨紋去除
文章主要提出了一種基於雙層聯合優化的單幅圖像雨紋去除方法。
首先分析含雨圖像中的局部梯度統計，自動定位識別以雨紋爲主的圖像區域。
在這些區域進行主導雨紋方向的估計，並提取除了一組雨紋主導的patch。
然後在背景層B上定義兩個先驗，分別是基於集中式稀疏表示和基於雨的方向的估計。
第三個先驗定義在雨紋層R上，基於提取到的雨的patches及patches 的相似性。
之前的方法：
基於視頻的方法利用幀間豐富的時間信息來定位和去除雨條紋
單幅圖像的方法要使用圖像先驗來恢復底層背景場景，如基於字典的稀疏先驗、低秩先驗，非局部自相似先驗、，基於GMM的層先驗。
創新之處：
1、首先，介紹了一種從輸入圖像中定位雨主導區域並估計雨條紋主導方向的自動方法。我們觀察到雨條紋通常落在一個狹窄的方向帶內，即使是大雨，我們分析了I中圖像塊上的梯度向量統計，識別出以雨條紋爲主的場景區域，從這些區域，我們可以估計I中的降雨方向，提取雨斑來模擬降雨模式。
2、提出了一種聯合雙層優化模型，通過以下三項先驗迭代分離雨®和背景(B)：
(1):介紹了一個集中的稀疏表示(CSR)。在保留背景細節的同時，改善去除雨紋的性能。該算法融合了局部和非局部稀疏約束，通過構造具有窗口固有變化度量的制導圖像來適應雨降過程。而以前的方法只使用局部稀疏性或非局部先驗。
(2):通過考慮像素梯度與降雨方向的角度偏差，構造了降雨方向先驗。該先驗建立在雨方向信息的基礎上，通過檢測以雨爲主的場景區域自動提取雨的方向信息。以前的工作通過跟蹤連續視頻幀中雨條紋的移動來估計雨的方向，因此它們不能用於單圖像雨條紋的去除。據我們所知，我們是第一個利用降雨方向先驗進行單幅圖像雨條紋去除的工作。
(3):特別爲R層引入了一層雨層，通過使用我們從雨佔主導的區域自動提取的雨斑來平滑R中非雨條紋的背景細節。
3、採用乘法器(ADMM)和迭代重權最小二乘法(IRLS)有效地解決了優化問題。
提出了一種新的單幅圖像雨條紋去除優化方法，該方法採用了幾個新的組成部分:雨條紋方向的自動估計、新的模型正則化項和從背景中分離出的雨條紋，以及一種新的外觀模型，它將非雨條紋的細節從雨層推回背景。
對比方法：
判別稀疏編碼(DSC,discriminative sparse coding)、基於GMM的層先驗（GMMLP， GMM-based layer prior）、聯合雨的檢測和去除（JORDER， joint rain detection and removal）、深度細節網絡（DDN，deep detail network）
數據集：
合成數據集(D1)，隨機選取60幅圖像BSDS 500數據集，對不同雨條紋方向的圖像合成雨(使用Photoshop)，並應用不同的方法去除圖像中的雨。
合成數據集(D2)是通過從BSDS 500數據集中隨機選擇30張其他圖像，故意用密集的雨來構建的。
6.Tensor based method (FastDeRain) (2017 CVPR)
一種區別使用固有先驗的基於向量的視頻雨紋去除新方法
本文主要是對雨紋和乾淨視頻的本質區別特徵進行了充分研究，提出了一種新的基於向量的視頻雨紋去除方法，不需要雨的檢測，也不需要字典學習。其中，雨紋方向沿雨滴方向稀疏光滑，而清晰視頻沿雨的垂直方向光滑，沿時間方向具有全局和局部相關。我們使用l1範數來增強底層雨條紋的稀疏性，使用兩個單向全變差(TV)正則化器來保證不同的判別平滑性，使用一個向量核範數和一個時間方向差算子來描述乾淨視頻隨時間的獨家相關性。提出了一種基於變方向乘子法（ADMM）的簡潔張量凸模型。
引入單向TV來利用空間先驗。在時間上，無雨區與雨帶、雨區相比，保持着較大的差異。乾淨的圖像與雨區雨紋相比，在時間軸上相關性更強。因此，一個向量核範數和一個時間方向差分算子可以同時增強底層乾淨視頻在時間方向上的全局和局部相關性。最後，我們考慮了雨帶的稀疏性，並利用l1範數來保證其稀疏性。
算法僞代碼：
4.5.6.7是論文中幾個公式，後續看的話看論文。
對比方法：
分頁符