作者：Zhifei Zhang, Zhaowen Wang, Zhe Lin, Hairong Qi
論文鏈接：https://arxiv.org/pdf/1903.00834.pdf
項目鏈接：http://web.eecs.utk.edu/~zzhang61/project_page/SRNTT/SRNTT.html
代碼鏈接：https://github.com/ZZUTK/SRNTT
摘要
由於低分辨率（LR）圖像中的大量信息丟失，在單圖像超分辨率（SISR）的最新技術上進一步改進變得極具挑戰性。另一方面，基於參考的超分辨率（RefSR）已被證明在提供與LR輸入具有相似內容的參考（Ref）圖像時，有望恢復高分辨率（HR）細節。但是，當Ref不太相似時，RefSR的質量可能會嚴重下降。本文旨在通過一種具有更強的魯棒性的方式利用Ref圖像的更多紋理細節（即使提供了不相關的Ref圖像）來釋放RefSR的潛力。受近期圖像樣式化工作的啓發，我們將RefSR問題公式化爲神經紋理（neural texture？）轉移。我們設計了一個端到端的深度模型，該模型通過根據Ref圖像的紋理相似性自適應傳遞Ref圖像的紋理來豐富HR細節。而不是像以前的方法那樣在原始像素空間中匹配內容，我們的主要貢獻是在神經空間中進行的多級匹配。這種匹配方案促進了多尺度神經傳遞，這使得該模型能夠從那些語義相關的Ref補丁中受益更多，並在最不相關的Ref輸入上優雅地降級爲SISR模式。我們爲RefSR的一般研究建立了一個基準數據集，其中包含Ref圖像與相似程度不同的LR輸入配對。定量和定性評估都證明了我們的方法優於最新技術 [圖1] 。
1. 介紹
傳統的單圖像超分辨率（SISR）問題定義爲從其低分辨率（LR）觀察中恢復高分辨率（HR）圖像[38]。 與計算機視覺研究的其他領域一樣，卷積神經網絡（CNN）的引入[5、37、22、25、35、13]極大地推動了SISR的發展。 但是，由於SISR問題的不適定性，大多數現有方法仍會在較大的放大因子（例如：4倍）下遭受模糊結果的影響，尤其是當恢復原始HR圖像中存在但在對