寫在最前面：
一個優秀的整理去雨文章的GitHub：戳我
較早以前的文章
這裏大部分文章是傳統方法或者視頻去雨。
1.Automatic Single-Image-Based Rain Streaks Removal via Image Decomposition (2012 TIP)
基於圖像分解的自動單幅圖像雨紋去除
1.文章做出了哪些成果？
由於單幅圖像去雨不像視頻去雨那樣可以利用圖像之間的時間信息，問題具有一定的挑戰性。
本文主要提出了一種基於單幅圖像的去雨框架，將去雨問題轉化成基於形態成分分析(MCA)的圖像分解問題。
首先是使用雙邊濾波器將圖像分解成高頻以及低頻成分，再通過字典學習和稀疏編碼將高頻成分分解成爲“雨成分”和“無雨成分”，從圖像中刪除雨成分，並保留大部分原始圖像細節。
2.前人成果有什麼？改變了什麼？改進的地方是什麼？
在之前的研究工作中，都是對視頻進行處理，其中包括對雨紋的檢測和去除以及在擋風玻璃等場景通過幾何光等方式對雨點的檢測。人們的一些改進是通過選擇相機的參數、曝光時間、景深進行，或是通過時間、色彩特性的去除雨紋。
工作將基於多個連續幀時間相關性的視頻去雨轉移到單一圖像上來，以及使用SIFT、SURF、HOG等特徵提取算子對特徵進行了提取。
本文的創新之處：
(1)是最早實現雨條紋去除的方法之一，同時在單單幅圖像中保留幾何細節，不需要連續圖像之間的時間或運動信息;
(2)我們提出了首個基於MCA的自動圖像分解框架，用於去除雨紋;
(3)字典從圖像中分解雨紋的學習是完全自動化和獨立的，在字典學習階段不需要額外的訓練樣本。
3.框架
傳統方法完成去雨處理。
如圖，輸入一幅雨圖，通過一個平滑濾波器分離成高頻成分和低頻成分，然後對高頻成分也就是原始圖像中的雨紋信息以及背景紋理信息進行處理，進行patch提取以及字典學習，再進行字典的劃分，基於稀疏編碼圖像分解得到雨成分和無雨成分，將處理得到的無雨成分與之前的低頻成分進行加和，得到去雨之後的結果圖像。
2.Restoring An Image Taken Through a Window Covered with Dirt or Rain (2013 ICCV)
從佈滿灰塵或雨水的窗戶拍攝圖像的復原
1.文章想要表達什麼？做出了什麼成果？
本文提出了一個拍攝後的圖像處理解決方案，可以去除單幅圖像中局部的雨和污垢。
我們收集了一個乾淨/損壞圖像對的數據集，用於訓練一種專門形式的卷積神經網絡，網絡學習瞭如何將損壞的圖像映射到乾淨的圖像並能隱式地捕捉污垢和水滴在自然圖像中的特徵外觀。
同時，還進行了室外條件下的灰塵及雨去除的演示。
2.前人成果有什麼？改變了什麼？改進的地方是什麼？
對於從窗戶中拍取到的包含有灰塵或雨水的圖片，從圖像中去除遮擋物的經典方法是在捕獲時將其散焦到不可見的程度。這就需要把相機對着放玻璃和使用大口徑產生小景深。然而，在實際操作中，很難將攝像頭移動到足夠近的距離，而且在智能手機攝像頭或網絡攝像頭上可能無法實現光圈控制。同時，許多用智能手機相機透過骯髒或下雨的玻璃拍攝的照片仍有明顯的人爲痕跡。
在這篇論文中，我們將拍攝後的圖像進行恢復，將污物或雨水作爲圖像噪聲的一種結構化形式。我們的方法只依賴於人工製品在空間上的緊湊性，這樣就得到了雨/土的焦點的輔助——因此，拍攝時不需要靠近窗戶。
在我們的系統中，輸入內核的支持是p1 = 16，輸出支持是pL = 8。我們使用兩個隱藏層（L = 3)，每個有512個單位。如前所述，中間層內核支持p2 = 1。因此，W1應用大小爲16×16×3的512粒，W2應用大小爲512粒
1×1×512,W3採用3粒大小爲8×8×512的核。
講了一大堆，其實就是構造了一個三層卷積網絡來模擬雨條紋。由於不能很好地模擬複雜的雨帶分佈，該方法的性能相對較低。
古文讀着真是頭大。
3.Utilizing local phase information to remove rain from video. (2015 IJCV)
利用局部相位信息完成視頻去雨
主要提出了一種較爲新穎的框架用於檢測和去除視頻中的雨紋。
該框架的第一部分是基於相位一致性特徵的雨紋檢測技術。
利用特徵在幀間的變化來估計候選雨像素。爲了減少由於全局運動而產生的候選幀數目，採用相位相關的方法對幀進行配準。
該框架的第二部分是一種新的重建技術，它利用了來自三個不同來源的信息，即雨影響像素的強度、空間鄰域和時間鄰域。在最小化幀間配準誤差的基礎上，對雨影響像素的實際強度進行了優化估計。
採用局部相位信息的光流技術進行配準，框架的這部分建模使得局部運動的存在不會扭曲重建視頻的特徵。並對各種複雜程度不同的視頻進行了定量和定性的評估。通過計算重構視頻單個幀的無參考圖像質量測度，定量驗證了算法的有效性。
提出了一種改進的帶全局運動補償的基於相位一致性的雨紋檢測算法，分別整合進時間及空間補償。
這篇文章主要是利用局部相位信息對視頻中的雨紋進行去除，也是傳統方法。
4.Video Deraining and Desnowing Using Temporal Correlation and Low-Rank Matrix Completion (2015 TIP)
使用時間相關性和低秩矩陣補全的視頻去雨去雪
本文主要提出了一種基於低秩矩陣補全的發掘視頻序列時間相關性的去雨算法。該算法通過對前一幀和下一幀進行變形，並與當前幀進行比較，得到初始雨圖。然後根據稀疏表示和分類去除異常點，對初始雨圖進行細化。最後，利用基於EM的低秩矩陣補全算法對多雨像素進行補全，完成去雨處理。
5.Discriminative sparse coding: Removing rain from a single image via discriminative sparse coding (2015 ICCV)
基於判別稀疏編碼的單幅圖像去雨
本質上本文也是一種傳統方法下的去雨，主要是使用了字典學習以及稀疏編碼分理出雨層。
文章提出了一種有效的單幅圖像去雨算法，從雨圖中分離出雨層和去雨的圖像層。基於含雨圖像的非線性生成模型，即屏幕混合模型，提出了一種基於字典學習的單幅圖像去雨算法。其基本思想是在具有強互斥性的學習字典上，用非常高的識別碼稀疏逼近兩層的patch。這種判別稀疏碼能將兩層結構從非線性複合結構中準確分離出來。
主要用到兩種算法：
字典學習K-SVD：K-SVD是一種經典的字典訓練算法，依據誤差最小原則，對誤差項進行SVD分解，選擇使誤差最小的分解項作爲更新的字典原子和對應的原子係數，經過不斷的迭代從而得到優化的解。
稀疏編碼OMP：正交匹配追蹤算法，以貪婪迭代的方法選擇D的列，使得在每次迭代的過程中所選擇的列與當前冗餘向量最大程度的相關，從原始信號向量中減去相關部分並反覆迭代，只到迭代次數達到稀疏度K，停止迭代。
環境：MATLAB 2014a
數據集：合成數據集及真實世界
從UCID數據集中隨機選取的200多幅室外圖像添加雨效應，合成測試用的雨圖像。雨效應通過加性複合模型或者屏幕混合模型生成。角度爲從70◦到110◦
創新之處：
1、考慮了非線性屏幕混合模型建模的雨圖像
2、通過學習具有互斥性的字典，利用具有高識別率的稀疏編碼，可以準確地分離出被剝離的圖像層和雨層。
3、開始使用PSNR和SSIM作爲評價指標。
存在問題：
1、由於圖像層的低通頻率分量與雨層的低通頻率分量之間的模糊性，在包含雨條紋的區域周圍存在一些僞影。該方法不能完全解決低通信道中的模糊問題。
2、當輸入圖像具有許多與雨滴相似的結構時，所提出的方法可能不能很好地工作;
3、所提出的方法不適用於放大雨滴圖像，如雨滴附着在玻璃上。
6.Adherent raindrop modeling, detection and removal in video (2016 TPAMI)
視頻中附着雨滴的建模、檢測及去除
文章介紹了一種自動檢測和去除附着雨滴的方法。其核心思想是利用雨滴的局部時域空間的導數。
雨滴像素的運動比非雨滴像素慢，雨滴像素強度的時間變化比非雨滴像素小。
我們去除雨滴的重要思想是利用連續幾幀中檢測到的線索和強度變化來解決混合函數，並對無法恢復的部分採用視頻補全技術。
首先利用物理定律對附着的雨滴進行建模，並結合輸入視頻的運動和強度時間導數來檢測雨滴。在檢測到雨滴後，根據雨滴部分區域完全遮擋，部分區域僅部分遮擋的分析，將其去除並恢復圖像。對於部分遮擋區域，我們通過提取儘可能多的場景信息進行恢復，即利用時間強度導數對被檢測到的部分遮擋區域求解混合函數。對於完全遮擋的區域，我們使用視頻補全技術進行恢復。
文章的創新之處：
1、利用導數性質涉及較少參數對附着雨滴進行模型和分析。
2、提出了一種基於運動和強度變化的像素檢測方法。
3、利用部分被遮擋區域的混合函數提出了一種相對快速的附着雨滴去除方法。
7.Layer prior: Rain streak removal using layer priors (2016 CVPR, 2017 TIP)
利用層先驗的知識實現
文章主要提出了一種對背景層和雨紋層都施加先驗的方法。這些先驗是基於高斯混合模型學習小塊，可以適應各種背景外觀以及雨紋的外觀。爲了進一步分離背景殘基，提高分解質量，還引入了結構殘基回收步驟。
前人工作：
把雨圖描述成把一個雨紋層疊加在一個包含真實場景內容的背景層上，去雨也就是實現層分解問題。
目前的解決方法有：稀疏編碼字典學習、低秩矩陣
存在問題：雖然會提高整體的可視性，但往往會在背景圖像中留下太多雨紋或者背景圖像過於平滑丟失細節
創新之處：
1、對背景和雨層都施加了約束。這些約束是簡單高斯混合模型(GMMs)從圖像塊中學習得到的。
2、GMM先驗對分解框架的有用性，使我們可以不考慮雨條紋的方向、大小和尺度。
3、恢復結構背景殘差：提出了一個背景結構恢復步驟（BSR），用於檢索不正確分配的雨層背景細節。使雨條紋層更加清潔，並進一步提高分離質量。
對比方法：
GF：a generic edge-aware smoothing filter, the guided filter
SR：the sparse representation-based dictionary learning method
LRA：the low-rank appearance method
DSC：and the discriminative sparse coding approach
數據集：來自 SR 方法數據集
使用 Grag 和Shree提出的真實感繪製技術合成了一個包含12幅圖像的新數據集，背景圖像來自BSD300數據集。
對於大雨時的雨痕：首先應用除霧方法，然後去除雨條紋。
分頁符