圖像超分辨重建一直也算是一個比較火的話題，發展也是很迅速的，下面結合我最近看的幾篇文章，寫寫一些論文總結。
圖像超分辨重建的基本的思想以及常見的一些算法已經在我之前的一篇文章介紹了，這裏也就不過多介紹了。感興趣的同學可以參考這篇文章深度學習應用到圖像超分辨率重建1 這裏着重介紹一些新發展的一些文章。
1. Learning a Single Convolutional Super-Resolution Network for Multiple Degradations (CVPR, 2018)
文章地址： https://arxiv.org/pdf/1712.06116.pdf
作者的項目地址： SRMD
1.1 簡單介紹：
傳統的CNN用於SR方法假設LR由HR經過雙3次bicubic降採樣得到的，但是當真實圖像不遵循該假設時候，SR效果比較差。現有方法不能擴展用單一模型解決多種不同圖像退化模型。爲此，提出一種維度拉伸策略將單個SR網絡將SISR退化過程二個關鍵因素（退化模糊核和噪聲水平）作爲網絡輸入。
實驗結果：
2. Residual Dense Network for Image Super-Resolution(CVPR 2018 Spotlight)
文章地址：https://arxiv.org/abs/1802.08797
作者的項目地址： RDN
2. 1 引言
之前的網絡結構沒有充分利用好層級結構，我們提出一個殘差密集連接網絡。
2. 2 主要貢獻
- 網絡充分利用了原始LR圖像層級特徵。
- 提出了RDB通過CM然後通過LFF
- 將所有的特徵通過特徵融合。
- 另外在實驗過程中不僅僅考慮了bicubic downsampling,也考慮了gaussian kernel。
3. Deep Back-Projection Networks For Super-Resolution (CVPR, 2018)
文章地址：https://arxiv.org/abs/1803.02735
作者的項目地址： DBPN-Pytorch
3. 1 簡介
- 近年來提出的SR網絡多爲前饋結果，學習LR和HR非線性映射，然而這不能解決LR和HR之間的映射。
- 之前的研究表明，人類的視覺系統可能使用反饋連接，最近的SR 網絡由於缺乏這種反饋，可能不能很好表達。
- 作者提供一種不斷上採樣、下采樣網絡，爲每個階段提供一種錯誤反饋機制，網絡爲DBPN(Deep Back-Projection Networks)以及擴展版本的D-DBPN.
4. AttnGAN: Fine-Grained Text to Image Generation with Attentional Generative Adversarial Networks(2018 CVPR)
文章地址：https://arxiv.org/abs/1711.10485
作者的項目地址： AttnGAN
4.1 簡介
本文提出了細粒度圖像生成，通過藉助文本描述生成包含充分細節圖像。利用了Attention-driven, multi-stage-refiment. GAN三種方法生成理想圖像，建立了文本描述到圖片細節attention。
構建了DAMSE使得Text-encoder和Image-encoder生成特徵可以在公共空間對齊，表示相似性。也就是利用多模態相似性爲目標協同優化特徵提取，使得提取特徵有利用GAN性能的提升。
5. FSRNet: End-to-End Learning Face Super-Resolution with Facial Priors(2018 CVPR SPOTLIGHT Presentation)
文章地址：https://arxiv.org/abs/1711.10703
作者的項目地址： FSRNet
5. 1簡介
本文提出了一個新的端到端訓練人臉超分辨網絡，通過更好的利用人臉特徵臉熱度圖和分割圖幾何信息，在無需人臉對齊提升非常低分辨人臉圖像質量。
具體上，首先構建一個粗細粒度超分辨網絡恢復一個粗精度HR，其次把圖像送入一個細粒度超分辨編碼器和一個先驗信息估計網絡二條分支。細粒度抽取圖像特徵，先驗網絡估計人臉特徵點和分割信息。最後二個分支結果匯入一個細粒度解碼器進行重構信息。
6. Super-FAN: Integrated facial landmark localization and super-resolution of real-world low resolution faces in arbitrary poses with GANs(2018 CVPR)
文章地址：https://arxiv.org/abs/1712.02765
作者的項目地址： 無
6.1 主要貢獻
- 同時解決兩個任務的端到端系統，即，既提高面部分辨率又檢測面部特徵。新穎性或Super-FAN的核心在於通過熱像圖迴歸和優化新熱像失真，通過集成子網絡進行面對齊，將結構信息合併到基於GAN的超分辨率算法中。
- 我們通過不僅報告正面圖像（如以前的工作），而且整體報告面部姿勢，而不僅報告合成的低分辨率圖像（如以前的工作），而且報告良好的結果，共同訓練這兩個網絡的好處，但也在真實世界的圖像上。
- 通過提出一種新的基於殘餘的體系結構來證明最新的面部超分辨率技術。
- 在數量上，我們展示了超高分辨率和對齊的最新技術。
- 定性地說，我們首次在真實世界的低分辨率圖像上顯示出良好的結果。
7. “Zero-Shot” Super-Resolution using Deep Internal Learning(2018 CVPR)
文章地址：https://arxiv.org/abs/1712.06087
非官方的項目地址： pytorch-zssr
在以往的SR基於大量的LR-HR進行訓練的，其中LR方法是諸如MATLAB的imresize函數。這種稱爲ideal。但是實際上SR中的LR是好多的non-ideal。摻雜噪聲，未知的降採樣核，aliasing現象。
作者提出“zero-shot” 致力於尋找單個圖像信息。在SR過程中，對改圖再次降採樣，學習二者超分辨參數，用於LR分辨。
8.Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform(2018 CVPR)
文章地址：https://arxiv.org/abs/1804.02815
官方的項目地址： CVPR18-SFTGAN
本文深入探討了如何使用語義分割概率圖作爲語義先驗來約束超分辨率解空間，使生成圖像紋理符合真實而自然紋理特徵。還提出了一種空間特徵調製層(SFT)有效的將先驗條件結合到網絡中空間調製層和現有SR網絡使用相同的損失函數，端到端進行訓練。
9. Image Super-Resolution via Dual-State Recurrent Networks(2018 CVPR)
文章地址：https://arxiv.org/abs/1805.02704
官方的項目地址： 無
最近的圖像超分辨力主要朝着二個方向發展，一個是越來越深網絡，另外一個就是殘差學習，包含了全局、局部和聯合，但是這些也會出現一些問題。比如網絡模型增大，網絡也越來越大。雖然DRRN,DRCN利用了遞歸神經網絡，也利用了殘差學習，但是會導致我們的重建速度變慢。最近一些論文發現殘差學習可用使用淺層的RNN網絡表示，受到這個啓發，作者引出了雙循環狀態網絡進行SR,發現我們的網絡DSRN不僅僅在參數上，在重建效果上也取得了不錯的效果。
上面的文章並沒有在細節上做過多的介紹，大家感興趣的話可以精讀，然後看看代碼。從上面文章代碼提供來看，大部分的都是基於Pytorch框架，這讓我們使用tensorflow框架有點難受，自己造輪子重現作者代碼還比較麻煩，但是pytorch動態圖用起來確實很不錯，所以可能要入Pytorch的坑了～