Single Image Deraining using a Recurrent Multi-scale Aggregation and Enhancement Network
基於遞歸的多尺度聚合增強網絡的單幅圖像去雨
寫在最前面：主要是對閱讀的文獻記錄一下
文獻地址：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8784948
代碼：https://github.com/nnUyi/ReMAEN
1.概述
本篇文章是2019 ICME的一篇文章，篇幅較短，短小精悍。
首先是對前人的去雨方面的處理方法進行了一個比較系統的總結，然後結合遞歸的結構提出了一個ReMAEN網絡結構進行去雨方面的處理。網絡結構對SENet做了較多借用。
本文主要提出了一種方法：Recurrent Multi-scale Aggregation and Enhanement Network(ReMAEN).
ReMAEN 包含一個對稱的結構，在這個結構中，具有共享通道注意的重複塊被應用於協作地選擇有用的信息，並逐步刪除雨條紋。
ReMAEN網絡結構主要是利用遞歸模塊構造出對稱的網絡結構，並結合相鄰階段之間的相關性來逐漸去除雨紋。同時，在每個遞歸模塊的隱藏狀態中應用一個共享的信道注意模塊協同選擇有用信息。其中模塊MAEB用於表徵不同尺度下雨紋的細節，同時這些模塊採用對稱跳躍式鏈接，保持雨紋細節從低到高流動。並且使用邊緣損失來保存內部紋理。
2.網絡框架
其中，網絡的前半部分是雨的細節提取路徑，後半部分是雨的細節響應路徑，它們共同組成了ReMAEN網絡。將包含雨紋的圖片作爲輸入，通過ReMAEN網絡，通過一個RMG模塊來生成雨圖Rt，再將第t-1次的輸入與生成的雨圖Rt做差，得到去雨之後的圖片以及第t次的輸入。
圖中，MAEB包含了一個MAB網絡和一個SE網絡。MAB包含p條路徑，每條路徑有卷積層和激活層兩層，使用leaky relu作爲激活函數，完成多尺度的雨紋特徵提取。並且使用一個SE網絡來更好地模擬多尺度雨的細節的內在相互依賴性。同時，這些SE網絡組成一個channel-attention
模塊分享相同的參數。RB則是用來保持有用的信息，shared SE在每個重複的模塊後面來共享相同的參數，幫助RBs選擇有用的信息。最後面是一個RMG雨圖生成模塊，也是一個SE網絡，來生成雨圖。
同大多數圖像處理的文章一樣，選用了峯值信噪比PSNR和結構相似性SSIM作爲客觀評價指標。