坐得住凳子。
2020CVPR：MSPFN
這篇文章是2020CVPR的一篇文章，作者來自武漢大學。文章主要結合金字塔結構、信道注意力機制進而協同地表示出多尺度的雨紋信息，提出了一種MSPFN網絡。
代碼：戳我
本文主要提出了一種多尺度漸進融合網絡(MSPFN)。
對於雨的成像原理，由於雨和相機之間的距離不同，導致圖片中的雨水會呈現出不同的模糊度和分辨率，因此可以利用多分辨率和多尺度之間的互補信息來表示雨紋。本文主要提出了一個框架從輸入圖像尺度和層次深度特徵的角度，探討了雨紋的多尺度協同表示，進而完成去雨。
對於不同位置的相似雨紋，採用了遞歸計算來獲取全局紋理，從而探索空間維度上的互補和冗餘信息來表徵目標雨紋。此外，還構建了多尺度的金字塔結構，並進一步引入了注意機制來指導不同尺度的相關信息的精細融合。
多尺度漸進融合策略提高協同表示並促進端到端訓練。
主要創新之處：
1、基於雨紋的相關性，通過挖掘不同尺度雨紋之間的互補信息，包括相似的外觀組
成等，並通過循環計算，對雨紋分佈進行更好的建模。
2、通過三個不同的模塊CFM+FFM+RM，結合金字塔結構、信道注意力機制進而協
同地表示多尺度的雨紋信息，提出了MSPFN網絡。
3、將去雨方法用於檢測、分割進行全面的評估。
網絡結構：
首先是通過高斯核進行下采樣構建出高斯金字塔結構，
然後通過初始層的卷積層提取出淺層特徵，
然後將不同尺度的特徵進行粗融合CFM，由多個並行的RRU組成，通過Conv-LSTM從多尺度中提取出全局紋理信息。
再將CFM提取到的特徵進行細融合FFM，多個URAB模塊級聯，進行漸進尺度的融合。
最後通過RM模塊進行重構聚合。
具體實現：
1、雨紋間的協同表示
雨紋之間的模式相似,都在相同的規模(以青色突出顯示,粉紅色和深藍色的框)或跨不同尺度(高亮顯示爲紅色,黃色,橙色和綠色框),可以幫助重建目標雨條紋(原雨中白盒圖片)互補信息(如類似的外觀,形成等)。
2、CFM 粗融合模塊
1、基於每個尺度的初始特徵，粗融合模塊( CFM)通過多個並行殘差迴歸單元(residual recurrent units , RRU)對多尺度雨紋信息進行深度提取和融合。
2、採用循環計算和殘差學習來獲取全局紋理信息，引入了Conv-LSTM 來對空間維度上的上下文紋理信息進行遞歸記憶建模，將上下文紋理關聯轉化爲結構化的循環依賴關係來捕獲互補或冗餘的雨信息。
3、多尺度結構擴大了保持較淺深度下的感受野。
4、高分辨率的表現受益於前一階段的輸出，以及通過迭代採樣和融合所有低分辨率金
字塔層。
3、FFM 細融合模塊
1、通過級聯多個細化融合模塊（FFM）進行進一步的特徵提取融合。
2、URAB（U型殘差注意模塊）：使用了strided convolution來減小feature的空間維數，最後利用deconvolution layer來提高分辨率，避免丟失分辨率信息。 引入了信道注意單元(CAU)來增強網絡的識別學習能力。
3、級聯FFMs之間採用長跳連接，實現多尺度雨信息的漸進融合，便於梯度的有效反向傳播。
4、RM 重構模塊
1、整合來自CFM和FFM的低階和高階多尺度特徵。
2、將來自CFM的輸出與來自最後一個FFM的輸出連接起來，然後使用一個卷積層來學習信道的相互依賴性， 並重新調整兩個模塊的特徵值。 同樣地，採用迭代採樣和跨不同金字塔層的雨信息融合來估計剩餘雨圖像。
5、損失函數
MSE： 由於平方懲罰會產生產生模糊和過度平滑的視覺效果及高頻紋理的丟失。
利用Charbonnier罰函數對實際雨紋分佈進行逐次逼近，該方法對小誤差有較好的容忍度，且在訓練過程中收斂性較好。
邊緣損失：約束真實圖像和預測的無雨圖像之間的高頻分量。
總損失：
分頁