文章地址： http://openaccess.thecvf.com/content_ECCV_2018/html/Seong-Jin_Park_SRFeat_Single_Image_ECCV_2018_paper.html
作者的項目地址：SRFeat-Tensorlayer
1 簡單介紹
雖然已有的基於GAN的超分辨率方法能夠被用來生成真實的紋理信息，但是它們都傾向於生成與輸入圖像無關的不太有意義的高頻噪聲。於是，作者增加了一個作用於特徵域的判別網絡，使得生成網絡能夠生成與圖像結構相關的高頻特徵。
作者的創新：
- 在SR框架下提出了二種判別器，分別是圖像域，還有特徵域，產生高頻的信息而不是噪聲。
- 生成器中使用了長範圍的跳躍連接，讓相距較遠的層信息更容易流動。
2 網絡
生成器的網絡和之前的SRResNet很類似，只是多了長範圍的跳躍連接，作者認爲之前的SRResNet對待每一個layer特徵是一樣的，我們通過1×1的conv將不同levle的特徵連接起來，然後可以動態調整它的權重，然後在最後一層相加起來，其實這其中蘊含着注意力機制的思想。作者解釋這樣做的好處有：
- 後向傳播過程梯度更容易更新
- 充分利用中間層的特徵來提高最後的特徵。
生成網絡的結構如下：
之後由亞像素卷積層完成尺寸放大的操作。判別網絡結構是普通的網絡，和SRResNet是一樣的。判別網絡如下：
在訓練網絡時，作者總共有兩步。第一步就是先用均方誤差預訓練生成網絡，這個是用ImageNet進行訓練的。然而，此時得到的結果並不能得到視覺上讓人滿意的結果。第二步再用感知損失和兩個對抗損失來訓練網絡。其中感知損失的方法就是讓HR和重建圖像通過一個VGG19的網絡，然後計算MSE。其中一個對抗損失對應的是圖像判別網絡，也就是和原有方法一樣，對圖像的像素值進行評判。另外一個對抗損失則對應的是特徵判別網絡，是對圖像的特徵圖進行評判，即將感知損失中計算的對象交由判別網路進行判斷。感知損失目的是讓HR和SR圖像在感覺上具有一致性，而特徵GAN損失是能夠產生感受上高頻信息而不是高頻噪聲，通過添加這個特徵判別網絡，生成網絡被訓練得能夠合成更多有意義的高頻細節。作者提到，他們嘗試了多種特徵判別網絡的結構，但是得到的結果都很接近。
3 實驗
作者實現證明了長範圍的跳躍連接的有效性。 w/o Conv是沒有1*1的conv操作， w/o Skip是沒有長範圍的跳躍連接。
作者然後驗證了特徵域的gan損失有效性。重建是將sr和hr圖像送到分類網絡，計算top1和top5錯誤率。其中SRFeatI是不含特徵域的gan損失，而SRFeatIF是包含特徵域的gan損失。
最後是從視覺角度上來看。
4 感想
最近在利用GAN進行SR過程中，雖然加入感受損失可以很好的產生視覺上令人滿意的效果，但是這往往也會產生高配的噪聲，而這HR是沒有的。在這篇文章中最大的創新就是引入了特徵域的gan損失，讓網絡更好的產生高頻的細節而不是噪聲。其他方面就是在生成器引入了DenseNet和注意力機制的思想。在作者的展望中提到了這裏的引入vgg-19中某一固定成，比如conv-5，在以後工作看能不能自適應的學習到最佳層。