圖像去模糊是圖像領域一個經久不衰的挑戰。近年來,有很多論文聚焦於深度學習算法去模糊工作。如標題所述的論文發表於2018年的 CVPR,是這方面的一個典型工作。我們來看看作者做了些什麼?
1 使用的數據
go pro 公開數據集。總共包含3214組模糊/清晰數據集。
實際模型的輸入數據爲,從每個輸入 batch 的 tensor 矩陣中隨機剪裁成 256 *256 的 tensor 輸入網絡,所以每輪 epoch 下來用到的訓練數據是不一樣的。
2 網絡結構
整個網絡結構如下圖所示:
其特點在於:
- 多尺度縮放(圖像在輸入網絡前進行縮放,最後疊加不同尺度下的 loss 作爲總 loss);
- 借鑑了 UNet 的結構,保留了淺層的特徵信息;
- 編碼解碼中,採用了 ResBlock,有助於特徵提取和梯度傳遞;
- 採用了 LSTM 的結構(這可能增加了模型的非線性,但我個人認爲作用可能不大);
另外我沒看懂粉紅色實線的上採樣操作,似乎開源代碼中也沒有顯示(如果我理解有誤,請讀者更正)?
3 損失函數
採用了 L2 損失函數。
4 效果
論文效果看着還行,但估計應用到業界依然很有難度。