轉：https://blog.csdn.net/Cyiano/article/details/78426824?locationNum=4&fps=1
圖像超分辨EDSR：Enhanced Deep Residual Networks for Single Image Super-Resolution，論文筆記
簡介
- 作者提出的模型主要是提高了圖像超分辨的效果，並贏得了NTIRE2017 Super-Resolution Challenge。
- 做出的修改主要是在殘差網絡上。殘差結構的提出是爲了解決high-level問題，而不能直接套用到超分辨這種low-level視覺問題上。因此作者移除了殘差結構中一些不必要的模塊，結果證明這樣確實有效果。
- 另外，作者還設置了一種多尺度模型，不同的尺度下有絕大部分參數都是共用的。這樣的模型在處理每一個單尺度超分辨下都能有很好的效果。
模型
Residual blocks
- 作者的原話是：Since batch normalization layers normalize the features, they get rid of range flexibility from networks by normalizing the features。因此有必要把batch norm層移除掉。另外，和SRResnet相似，相加後不經過relu層。最終的結構圖如下：
![image.png-114.6kB]()
- 值得注意的是，bn層的計算量和一個卷積層幾乎持平，移除bn層後訓練時可以節約大概40%的空間。
- 太多的殘差塊會導致訓練不穩定，因此作者採取了residual scaling的方法，即殘差塊在相加前，經過卷積處理的一路乘以一個小數（比如作者用了0.1）。這樣可以保證訓練更加穩定。
Single scale model
+ 作者採用的結構和SRResnet非常相似，但移除了bn和大多數relu（只在殘差塊裏纔有）。最終的訓練版本有B=32個殘差塊，F=256個通道。並且在訓練*3，*4模型時，採用*2的預訓練參數。此模型稱之爲EDSR。
multi-scale model
+ 多尺度模型很簡單，一開始每個尺度都有兩個獨自的殘差塊，之後經過若干個殘差塊，最後再用獨自的升採樣模塊來提高分辨率。此模型稱之爲MDSR。
+ 作者的版本B=80，F=64。
實驗
準備
- 實驗數據用的是比賽提供的DIV2K，它有800張訓練圖像，100張驗證圖像，100張測試圖像。每張都是2k分辨率。
- 預處理是，每張圖像減去DIV2K的總平均值。另外在訓練時，損失函數用L1而不是L2，源碼用torch7封裝。
- 提一下MDSR的訓練，是*2 *3 *4三中的尺度隨機混合作爲訓練集，在更新梯度時，只有對應尺度的那部分參數更新。
Geometric Self-ensemble
- 這是一個很神奇的方法，測試時，把圖像90度旋轉以及翻轉，總共有8種不同的圖像，分別進網絡然後變換回原始位置，8張圖像再取平均。這個方法可以使測試結果有略微提高。Note that geometric self-ensemble is valid only for symmetric downsampling methods such as bicubic downsampling.
結果
- 測試的時候只在y通道上評估。
![image.png-408.8kB]()
