2019ICIP：Dual-Domain ID-CGAN
通過上一篇看到的文章提出的ID-CGAN，然後看到了這篇文章提出了一種雙域的ID-CGAN。
文章主要提出了一種利用空間域和含雨圖像小波變換系數的去雨方法，同時使用了CGAN網絡。其中，生成器接收含雨圖像的空間域和頻率域的輸入，然後產生5個候選的去雨圖像，然後通過一個深度殘差網絡來合併這些候選去雨圖像，預測出一個去雨圖像。並且爲了保證圖像的視覺質量，還使用了感知損失，這些都與ID-CGAN較爲相同。
創新之處：
1、提出了一個基於CGAN網絡的結合空間域和頻率域的去雨方法。
2、使用感知損失函數來保證去雨圖像的質量。
3、使用了哈爾小波變換得到圖像的頻率域信息。
前人工作：
1、雨紋會造成監控、衛星追蹤、自動駕駛等很多問題。
2、去雨問題看成一種圖像分層問題，將含雨圖像分離成一個無雨的背景圖像和一個雨紋層圖像。由於雨條紋具有較高的像素相關性，大部分採用雨圖像的空間域。
3、DDN
4、JORDER
5、通過對稀疏或稠密雨圖進行分類，在矩陣分解框架中對雨紋進行建模。
6、ID-CGAN
7、DID-MDN
以上所說，都是利用雨圖的空間域信息基於高像素相關性的存在。
8、Shen，也就是下面的啓發論文，從相同的雨天圖像使用深度CNN網絡，利用了哈爾小波和暗通道先驗的概念來預測去雨圖像的小波係數。
在此基礎上，本文發現發現小波子帶更適合預測雨紋圖，如果在雨紋圖的空間域特徵的基礎上，向網絡提供這些頻域線索，可以取得顯著的改善。
網絡結構：
圖a 爲小波子帶LH、HL、HH.
圖b 爲網絡的整體結構，主要分爲生成器和判別器兩塊。
具體實現：
1、顏色空間選取
更理想的顏色空間爲YCbCr ,與RGB顏色空間不同，YCbCr是去相關的。
由於雨紋噪聲的僞週期加性和高頻特性，對得到的不同顏色的條紋 Cb / Y-B和Cr / Y-R進行平滑處理，只在亮度通道中保留噪聲。
因此，提出的方法只在Y通道去除雨紋。
該模型除了空間域特徵外，還提供了頻率域特徵作爲輸入。
雖然從空間到頻域的圖像變換通常會破壞像素相關性，這給CNN的使用帶來了挑戰，但是離散小波變換，更具體的說是Haar小波，在一定程度上保持了圖像的空間相關性。
小波變換：
小波變換將二維離散信號(如圖像)分解成四個強調圖像分辨率的子帶。
其中，近似子帶LL表示圖像的背景細節，子帶LH表示沿y軸變化，HL表示沿x軸變化，HH表示對角線細節變化。
通常採用LL子帶的二進劃分進行細節分析。然而，隨着大多數背景推斷的消除，子帶LH, HL和HH保存了關於雨條紋的各種信息。因此，這些子帶更適合預測雨紋圖，而不是直接將雨圖像的亮度通道映射到雨紋圖。其餘有用的背景細節保留在雨圖的亮度通道中，並與選定的小波子帶一起作爲輸入。
即輸入 = 選定的小波子帶 + 保留背景細節的雨圖亮度通道
----------->
將雨圖轉換到YCbCr 空間。IY表示其亮度通道。
四個小波子帶分別爲：近似子帶LL，水平子帶LH，垂直子帶HL，對角子帶HH
同時，子帶Wh IY, WIvY, WIdY在空間上被放大了2倍。
目標函數：
2、生成器網絡
生成器的目的是利用含雨圖像的空間域和頻域來學習多幅候選去雨圖像。
如圖所示，生成器部分由四個獨立的模塊組成，分別是P1，P2，P3，P4。
P1接收INY作爲輸入，處理空間域的線索。P2，3，4分別接收圖中三個W作爲輸入，處理頻率域。
其中，P1模塊由子網絡S-Net組成，S-Net包含六個3x3的卷積層，空域步長1x1，每層分別有4，8，16，32，64，1個濾波器。同時，每層有BN（助快速收斂）+ReLU激活函數。
P1是使用含雨圖像的空間特徵生成候選的清晰圖像C1。
P2,P3,P4模塊由子網絡F-Net組成，F-Net包含四個3x3的卷積層，空域步長1x1，每層分別有4，8，16，1個濾波器。同時，每層有BN（助快速收斂）+ReLU激活函數。
P2，P3和P4模塊是利用更適合生成雨圖的小波子帶LH、HL和HH中的線索，來輸出中間雨圖Rh、Rv和Rd。
然後將生成的中間雨圖串接之後輸入一個十層的ResNet進一步細化生成一個合成的雨圖Rmerged。
再之後，生成候選的清晰圖像。
C2 = INY - R merged.
C3 = INY - Rh
C4 = INY - Rv
C5 = INY - Rd
最後將生成的五個候選圖像串接輸入一個34層的ResNet生成最終 的去雨圖像。
3、判別器網絡
判別器主要目的是最大限度地提高對輸入樣本進行真假分類的概率，從而激發生成器模型預測更真實的去雨圖像。
輸入預測或者真實圖像，通過五個卷積層，分別有1，2，4，8，1個3x3的濾波器，空域步長爲1x1，以及ReLU激活函數。最後是一個128個神經元的全連接層+ReLU激活函數+sigmoid層。
4、損失函數
均方誤差MSE：
其中，
是模型的輸入，
是真實圖像。
MSE與人類對圖像質量的感知並沒有很好的相關性，可能會在去雨圖像中產生斑點或模糊的僞影。
而感知損失函數通過保留圖像的上下文和高層特徵來避免這些僞影。
爲此，使用一個預先訓練好的VGG-16模型(V)對卷積層conv2_2進行特徵提取。
感知損失：
鑑別器到控制發生器的熵損失：
總的損失函數：
實驗：
數據集爲： DID-MDN的數據集
訓練圖像：128x128大小，192K張
測試圖像：512x512大小，1201張
NVIDIA-GTX 1080TiGPU
TensorFlow
42個epoch
學習率 0.01
batch_size = 20
Adam優化
損失函數權重分別設置爲：0.989，0.01，0.001
啓發論文 2018 ICPR：
Deep Joint rain and haze removal from a single image
這篇文章主要提出了一種基於小波變換和暗通道的卷積神經網絡。
基於雨紋對應圖像中的高頻成分，因此引入了小波變換來分離背景和雨紋。
其中，LL對應背景信息，HL對應雨紋，LH對應邊緣。
同時，遠距離的雨紋積累使得雨圖看起來有一霧層。然後提取暗通道作爲特徵圖，通過增加暗通道輸入和輸出的映射來實現去霧，並使用後向傳播來優化參數。
首先，雨圖和真實圖通過小波變換被轉換成四個子圖，然後在小波域中訓練不同子圖像之間的端到端映射來去除小雨。然後通過暗通道方法來實現因爲雨紋積累形成的霧紗的去除。
網絡結構：
圖爲簡單的去雨網絡（SRR-Net），不包含去霧紗。
就是將含雨圖像首先做一個小波變換，通過一個DDN，再進行小波反變換，得到輸出圖像。
DJRHR-Net，一起去除雨和霧紗。
具體工作
1、雨的建模
JORDER中提出的雨的建模：
2、小波變換去除雨紋
傅里葉變換得到的圖像的頻譜丟失了很多重要的特性，如局部感受野，使得卷積神經網絡難以應用。
而小波變換使圖像分析變得更加容易，小波變換基於小波，訓練起來更方便。本文使用一種最常用的小波:Haar小波。
目標是將低質量的圖片恢復成高質量LQ–>HQ。LQ視作輸入，HQ視作標籤。
首先，將原始圖片對，變換到小波域：
SRR-Net損失函數：
SRR-Net 的過程可表示爲：
3、暗通道去除雨紋積累
基於暗通道先驗這個統計的無霧圖像，利用這種特強先驗，可以對霧霾厚度進行估計，直接恢復高質量圖像。
在卷積神經網絡中提取圖像暗通道作爲特徵圖，以去除噪聲。直接加入人工特徵比深度網絡學習的特徵更有效。因此，我們增加了輸入圖像和輸出圖像的暗通道之間的映射，這有助於通過間接的方式實現對霧霾的去除。
如上圖DJRHR-Net所示：
首先：
其中，
爲了簡便，定義：
一方面，低質量圖像的四個小波子帶和暗通道通過相同的卷積層:
其中，f代表dense-net。
然後，兩部分的損失函數分開計算。
小波變換損失函數爲：
暗通道部分：
總的損失函數：
與前面相同，再給處理完的加上一個原始輸入，再進行IDWT。
分頁符
