這篇文章與Attentive-GAN網絡結構很相似，順帶一起整理了。
成長就是在慢慢學會放下。
2019AAAI ： RR-GAN
這篇文章是2019AAAI的一篇文章，主要提出了一種緩解成對數據訓練約束的去雨方法，整體結構與2018CVPR AttentiveGAN比較相似。
這篇文章主要提出了一種RainRemoval-GAN（RR-GAN），使用不配對監督。
通過引入一個物理模型來從可微規劃的角度明確地學習恢復的圖像和相應的雨條紋，從而減輕了成對的訓練約束。整體網絡由一個多尺度注意力記憶生成器和一個多尺度深度監督判別器組成。多尺度注意記憶生成器利用帶有注意機制的記憶捕捉不同階段的潛雨條紋背景，恢復乾淨的圖像。深度監督的多尺度鑑別器在恢復的輸出圖像上對乾淨圖像集的局部細節和全局外觀施加約束。與學習到的雨紋一起，使用重建約束來確保外觀與輸入圖像一致。
主要創新之處：
1、將CycleGAN與單幅圖像去雨結合，從而使無配對數據的雨水去除訓練成爲可能。
2、基於注意記憶的多尺度注意記憶生成器，將粗尺度和細尺度密連網絡中的上下文信息融合在一起，利用未配對的訓練數據遞歸地學習雨紋，從而恢復乾淨的圖像。
3、多尺度深度監督鑑別器，使所生成的復原圖像在低層次細節和高層結構上都儘可能地符合目標圖像。
網絡結構
相較於AttentiveGAN，這裏採用DenseBlock，並且判別器是多尺度的。
denseblock ：
具體實現
可微程序設計
本文工作屬於可微規劃族，它將程序視爲神經網絡，使程序能夠參數化，自動微分和優化。
經典LISTA：將l1求解器ISTA展開成一個簡單的RNN，層數對應迭代數，權值對應字典。
與傳統的變量難以解釋的RNN可微規劃不同，該方法使用具有先驗知識的前饋卷積神經網絡重新構造圖像退化模型。
注意力記憶網絡
使用注意力代替遞歸網絡。
多尺度深度監督判別器
結構：C(3,64)-C(3,128)-C(3,256)-C(3,512)
每個卷積特徵映射將通過一個帶有Leaky-ReLU激活的實例歸一化層(IN)傳遞，然後被送入下一個卷積層。
另外，每個邊輸出後面都加上C(1,1)與sigmoid的卷積層，輸出每個patch到乾淨圖像上的概率。
因此，我們將有四種預測，提供多層次的監督，提供正則化，使生成的圖像在低層次細節和高層結構方面與地面真實圖像一樣真實。
目標函數
損失函數
分頁