文獻閱讀: ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks

文章地址： https://arxiv.org/abs/1809.00219
作者的項目地址： https://github.com/xinntao/ESRGAN

1. 簡單介紹

這是一篇ECCVW2018的文章，並獲得了PIRM-SR(Third Region)的冠軍，作者是在SRGAN的基礎上做了三點改進：

1. 改進了生成器網絡，在生成器中使用一種不帶BN的Residual-in-Residual Dense Block (RRDB)模塊，另外也使用了residual scaling （EDSR中已經使用了）smaller initialization （0.1MSRA）等策略。
2. 引入了 relativistic GAN 的相關思想，判別器判斷的相對值而不是絕對值。
3. 提出了一種改進感受損失，在激活函數之前使用特徵。

2. 網絡結構

2.1 生成器部分

    作者是在SRGAN的基礎上進行修改的，改進的部分主要就是其中的Basic Block部分。

    和基礎的版本相比，作者做了二個方面的改進：

1. 去掉BN層
2. 引入RRDB模塊，引入了DenseNet的相關思想。

這樣做的出發點是：

1. 在基本的模塊中去掉BN層可以提高網絡的表現性能也可以減少計算量。也就是說BN層在訓練的時候計算數據集的均值和方差，然後在測試的時候使用已經計算好的均值和方差。當訓練數據和測試數據不是太相同的時候往往會引起不令人滿意的僞影以及限制了生成器的表達能力。 我們從經驗上發現當我們網絡很深或者在使用GAN的框架的時候更容易產生僞影。爲了訓練的穩定以及減少穩定，所以我們移除了BN層。
2. 通過DenseNets可以提高網絡的 capacity 。
   

2.2 relativistic GAN

    其實 relativistic GAN的思想也是很簡單的，就是判別器判斷的是相關的分數而不是絕對的分數。大家可以參考一下幾篇參考文章做進一步理解:
1.The relativistic discriminator: a key element missing from standard GAN
2. 相對的判別器：現有GAN存在關鍵屬性缺失
3. 你的 GAN 是不是少了什麼？
4. RSGAN：對抗模型中的“圖靈測試”思想
5. Saturating VS Non-Saturating Loss functions in GANs

2.3 改進感受損失

    在激活函數之前約束特徵而不是在激活函數之後。作者這裏解釋到，之前在SRGAN約束特徵是在激活函數之後，這樣做有2個弊端：

1. 激活的特徵會變得很稀疏，尤其是在深層網絡。
2. 會導致重建圖像和原始圖像亮度不一致。

另外作者將原來的VGG損失替換成SR – MINC 損失，說是這個網絡將更多的注意力集中在紋理上而不是物體上面。

2.4 網絡插值

    作者還提出了一種網絡插值的策略，也就是在一個網絡中包含了 PSNR-oriented network 還有 GAN-based network ，這樣做的優點有2點：

1. 模型插值可以在沒有引入僞影的情況下產生有意義的結果。
2. 我們可以平衡感受質量和數據保真項二步需要重新訓練我們的模型。

3. 實驗部分

3.1 評價指標

    除了PSNR,還有另外一個評價指標，這是這個比賽使用的，也就是perceptual index, 定義：
perceptual index =$1/2 ((10−Ma)+NIQE)$,其中$Ma$是Ma’s score，來源於Learning a No-Reference Quality Metric for Single-Image Super-Resolution, $NIQE$來源於Making a “Completely Blind” Image Quality Analyzer

3.2 實驗

    作者首先給出了直接的視覺效果，另外也做了 Ablation Study，包含以下幾個部分：

1. 去掉BN
2. 感受損失之前還是之後激活
3. RaGAN
4. 更深的RRDB
5. 不同的數據集
   

3.3 補充材料

包含：

1. BN對網絡僞影的影響。
2. 深層網絡的訓練策略
3. 不同的數據集以及patch size對性能表現的影響
4. 更多的視覺表現