文章地址：https://arxiv.org/abs/1807.10547
視頻地址：https://www.youtube.com/watch?v=7htEaaNkxG8
作者的項目地址：ECCV2018_CrossNet_RefSR
1.1 簡單介紹
目前除了SISR(Single image super resolution)進行圖像超分辨重建之外,現在還出現RefSR(Reference-based super-resolution)基於參考的圖像超分辨重建。SISR主要是利用了LR-HR對,但是當我們的分辨率間隙達到8或者以上,效果往往差強人意，所以RefSR,它除了LR-HR對之外，還引入了和LR圖像共享相似視點的參考圖像，引入參考圖像的好處就是我們充分利用高分辨率圖像的細節。但是RefSR目前有兩個比較大的難題。第一個就是雖然引入了參考圖像,但是由於視差以及LR和HR圖像巨大的分辨率間隙(8x),往往效果並沒有太好。另外就是如何將從參考圖像高配信息遷移到LR圖像也成爲一個難題。
現有的RefSR方法以級聯的方式工作，例如 patch匹配，然後是具有兩個獨立定義的目標函數的合成 pipeline，導致inter-patch misalignment，grid effect and inefficient optimization。爲了解決這些問題，我們提出了CrossNet，一種使用跨尺度變形的端到端和全卷積深度神經網絡。我們的網絡包含圖像編碼器（encoder），cross-scale warping layers和融合解碼器（decoder）：編碼器用於從LR和參考圖像中提取多尺度特徵;cross-scale warping layers在空間上將參考特徵圖與LR特徵圖對齊;解碼器最終聚合來自兩個域的特徵映射以合成HR輸出。使用跨尺度變形，我們的網絡能夠以端到端的方式在像素級執行空間對齊，從而改善現有方案的精度（大約2dB-4dB）和效率（超過100倍）。本段參考[計算機視覺論文速遞] ECCV 2018 專場4
1.2 網絡結構
1.3 效果
更多的效果可以參考這個youtube視頻
1.4 感想
RefSR畢竟不是主流的SISR方向，但是以後可能會涌現更多相關的文章, 先mark一波。