論文閱讀：Unsupervised Single Image Deraining with Self-supervised Constraints

原創

行走的歌

2019-10-25 14:55

Unsupervised Single Image Deraining with Self-supervised Constraints

寫在最前面：主要是對閱讀的文獻記錄一下
文獻地址：https://arxiv.org/pdf/1811.08575.pdf

1.概述

本篇文章是2019 ICIP的一篇文章。
本文主要提出了一種無監督去雨生成對抗網絡（UD-GAN）的方法來進行雨紋的去除，同時效果在PSNR和SSIM評價指標上都表明優於其他的一些處理方法，並且還進行了主觀評價來證明主觀上也優於其他方法。然後，UD-GAN方法主要是提出了兩個相互協作的模塊，也就是雨指導模塊（RGM）以及背景指導模塊（BGM），RGM用於區分真實的雨天圖像和基於BGM生成器輸出的假雨天圖像，BGM利用了一個層次結構的高斯模糊梯度誤差，以確保背景一致性之間的下雨輸入和去雨輸出。然後，將一種新型的亮度調整對抗損失集成到去噪圖像鑑別器中。

背景

現有的大部分單幅圖像的去雨方法都需要大量的合成的成對的訓練數據來學習監督模型，同時現有的無監督的方法由於沒有標籤的約束導致去噪質量不太高。

左圖爲合成的成對的圖片，右圖爲真實世界中不成對的圖片。

創新

1、是第一個數據驅動的嘗試用於不成對數據集的無監督學習實現去雨任務。
2、通過自監督方式學習原始數據的內在統計特性，爲非監督訓練提供了一個新的視角，爲單幅圖像去噪開闢了新的途徑，使其更接近於實際應用。
3、對合成數據集和真實數據集的廣泛性能評估驗證了我們方法的有效性。特別是在真實下雨場景中主觀效果的改善方面，UD-GAN大大超過了現有的監督方法，可以很容易地推廣到其他計算機視覺任務中。

2.實現

框架

其中，R是雨圖，R‘是加雨的圖，C是清晰圖像，E是提升亮度的清晰圖像，C_{是去雨的圖像，S}是去除掉的雨紋圖像，Gc是一個去雨的生成器（實現R到C），Gr是一個輕量級的加雨生成器（實現C_{到R’），Ds是一個用於雨圖的判別器用於判定（S} + C 和R），Dc是一個清晰圖像的判別器用於判定（C~和C）。

RGM模塊：
這個來自RGM的指導基本上可以被看作是一種對抗的協作:刪除的雨帶S_{越真實，C}清除雨帶的結果就越清晰。

BGM模塊：
經過一個低通濾波器之後，去除了雨紋，只剩下了背景及內容。
同時隨着高斯模糊尺度的增大，背景特徵就越相似，平均梯度誤差越小。

清晰圖像的自監督：
因爲它們之間的內置亮度差異，所以簡單地通過一個標準的對抗損失訓練Dc來分離生成的去雨圖像和真正乾淨的圖像是不夠的。真實的雨天圖像幾乎是渾濁的，它們的平均亮度通常較低。如果我們直接使用真實的乾淨圖像(通常在我們收集的真實數據集中是晴天)通過標準的對敵損失來約束去雨輸出，那麼去雨輸出常常太亮，與陰天不匹配。同時，那些具有較高光照的去雨圖像可能會留下更多的殘留雨紋。
因此，在這裏作者提出了一個亮度調整模塊，對清晰的圖像進行亮度的增強（C得到E），然後再通過Dc進行判別。