發表在ECCV2018。
介紹：本篇文章是一種reference-based super resolution（RefSR），關鍵在於將參考HR圖像的高頻細節遷移到LR圖像，由於參考HR圖像和LR圖像之間視差和分辨率較大的差異（8x），現有的RefSR方法存在塊間不匹配，網格效應和優化不高效的問題，本文提出一種端到端的全卷積神經網絡，使用了跨尺度扭曲，包含圖像編碼器，跨尺度扭曲層和融合解碼器：編碼器主要用於提取參考圖片和LR圖片的多尺度特徵，跨尺度變形層用於將參考的特徵圖和LR特徵圖進行空間對齊，解碼器將這些特徵圖進行合併從而生成HR圖片。
問題：在原先的工作中，爲了使兩個輸入的圖像對應，使用HR參考圖像的下采樣塊的梯度特徵用塊匹配，並使用滑動平均進行圖像生成，這種方法在匹配時沒有充分利用高頻信息，在生成時也沒有利用高分辨率圖像先驗；滑動平均會模糊生成的圖像和造成網格僞影，並且不能處理由於視點改變造成的非剛性圖像變形；在低分辨率和高分辨圖像上直接進行扭曲會不準確而且低效。
1. 全卷積跨尺度對齊模塊
跨尺度扭曲：使用了跨尺度扭曲進行非剛性圖像轉換，引入了像素的轉移向量V，爲每一個像素位置都分配一個特定的轉移向量.
跨尺度流估計： 使用FlowNetS作爲流估計器，爲了改進FlowNetS，將其最後的X4雙線性上採樣層替換爲兩個X2上採用模型，每個模型包含一個跳接結構和隨後的一個反捲積層。多尺度光流場的生成如下：
2.端到端網絡結構
如上所示，包含兩個編碼器和一個解碼器，先對LR圖像進行單圖片的超分得到一張上採樣圖片，LR編碼器在四個尺度上提取參考的特徵圖，具體是：首先使用64個5X5，步長爲1的卷積核提取尺度0的特徵圖，然後分別使用64個5X5，步長爲2的卷積覈對特徵圖進行提取，
參考圖片編碼器的多尺度特徵提取和LR編碼器類似，然後使用跨尺度光流
解碼器中先將兩個編碼器得到的兩個特徵圖和解碼器中的特徵圖進行串聯，然後使用64個4X4，步長爲2的卷積核進行反捲積，
最後在scale0使用三個額外的卷積層，卷積核大小爲5X5，卷積個數分別爲64，64和3。
損失函數：
