2017 CVPR：JORDER
這篇北大老哥的英文太強，讓我感覺在做長難句閱讀理解，看的腦殼痛。
JORDER： JOint Rain DEtection and Removal
文章主要提出了一種多任務的聯合檢測和去除的去雨網絡。
創新之處：
1、對雨的建模進行改進，增添了一個二值映射，形成了一個區域依賴的雨模型用於提供雨紋位置。同時還對大雨情況下因爲雨紋的累積以及不同形狀和方向雨紋的重疊形成的大氣面紗進行了建模。使得建模更貼近於真實。
2、方法聯合了單幅圖像中的雨紋檢測以及去除。
3、使用了上下文擴張網絡來擴大感受野接受更多的上下文同時保存更豐富的局部細節。
4、引入了循環檢測和去除網絡來解決大雨問題。
前人工作
去雨工作有基於視頻序列的雨圖復原及單幅圖像的去雨。
單幅圖像的去雨工作是看作是信號分解問題或是使用非局部均值平滑進行解決。
將單幅圖像的去雨工作看作是一個分層問題。
Huang 從高頻層中分離雨紋通過稀疏編碼，從HOG特徵算子進行一個字典學習。
形態學成分分析、層分離、字典學習是有侷限的，會導致背景圖像的過度平滑。
然後提出了一個低秩模型，雨紋層被看做是低秩的。
Kim在一個非局部均值濾波器上完成了雨紋的檢測和去除。
Luo提出了一種判別稀疏編碼。
後來還提出了一種高斯混合模型GMM的去雨方法。
基於深度學習的去雨方法也在不斷的發展。
侷限：
1、由於雨紋和背景紋理圖案的固有重疊，許多方法去除雨紋導致了區域的過度平滑。
2、雨圖的退化較爲複雜，常用的模型不足以覆蓋真實雨圖中的重要特徵因素。
3、現有方法的基本操作是基於一個局部的圖像patch或者一個限制的感受野。較大區域的空間紋理信息很少被使用。
網絡結構：
具體工作：
1、區域依賴的雨的模型
引入了一個新的區域依賴的變量R，其中R中的元素爲二進制的數值，1表示該區域有雨，0表示該區域無雨。O是含雨圖像，B是背景層，S爲雨紋層。
這樣爲網絡瞭解雨紋區域提供了額外的信息。同時允許新的雨去除通道先進行雨紋的檢測，然後可以對雨紋區域和非雨紋區域進行不同的操作，以保留背景細節。
對於雨紋積累以及大雨的情況下：
新的模型基於Koschmieder模型，該模型適用於許多混濁介質，包括霧、霧和水下。
其中，St是具有相同方向的雨紋層，t是雨紋層的層數，s是雨紋層的最大層數。
A是全局大氣光，α是大氣透射值。
2、JORDER
2.1、聯合雨的檢測和去除的多任務網絡
目的是通過給定的O，對B，S和R進行估計。採用極大後驗估計方法：
其中Pb,Ps,Pr是B、S、R的先驗。
之前的方法中，使用卡通紋理分解、數據驅動模型像字典學習、GMM等。
深度學習方法中，B、S、R的先驗從訓練數據中學習，並隱含在網絡中。
如圖所示，首先是利用上下文擴張網絡提取出雨紋特徵F，然後R、S、B按照順序預測，雨紋的檢測估計和去除是一個連續的過程：
基於F的卷積過程估計得到R^
[F,R^]卷積過程預測得到S ^
[F,R^,S ^,O-R ^ S ^]卷積過程計算得到B ^
2.2 上下文擴張網絡
主要目的是聚合上下文信息在多尺度下對雨特徵的學習。
網絡通過兩種方法獲取上下文信息：
1)通過一個循環的結構，類似於循環的ResNet，爲後續的層提供一個越來越大的感受野;
2)在每次循環中，輸出特徵都是將三種不同的擴張因子和感受野的卷積路徑表示集合起來。
三個擴張路徑由兩個具有相同內核大小3×3的卷積組成。然而，不同的擴張因子，不同的路徑有自己的感受野。路徑P2由兩個卷積和擴張因子2組成。卷積核表示爲DF= 2的情況。
因此，級聯兩個卷積，三條路徑的感受野分別爲5×5,9×9，13x13
3、循環結構
循環JORDAR網絡可以理解爲卷積聯合雨檢測和去除網絡的級聯，它可以執行漸進式的雨檢測和去除，並恢復背景層，具有越來越好的可視性。
網絡通過計算O與B之間的差值，生成殘差圖像T(·)。
循環如下：
其中，Et代表預測的殘差。迭代t次得到最終的預測：
4、損失函數：
結合一個時間變量t：
實驗
數據集：
Rain12：包含12張合成的雨圖，雨紋只有一種類型
Rain100L： 只有一種雨紋類型
Rain100H： 有五個不同雨紋方向的雨紋
分頁符
