Accurate Image Super-Resolution Using Very Deep Convolutional Networks
摘要
我們提出了一種高精度的單圖像超分辨率（SR）方法。我們的方法使用了一個非常深的卷積網絡，靈感來自於用於ImageNet分類的VGG網絡。我們發現網絡深度的增加可以使得精度的顯著提高。
我們的最終模型使用20層。通過在深層網絡結構中多次級聯小型過濾器，可以有效地利用大型圖像區域上的上下文信息。然而在非常深的網絡中，收斂速度成爲訓練中的關鍵問題。我們提出一個簡單而有效的訓練程序。我們僅學習殘差，使用極高的學習率（比SRCNN
高出104倍），通過可調梯度裁剪實現。
介紹
我們解決了給定低分辨率（LR）圖像生成高分辨率（HR）圖像的問題，通常稱爲單圖像超分辨率重建（SISR）。SISR廣泛應用於計算機視覺應用，從安全和監控成像到醫療影像（需要更多的圖像細節）。
在計算機視覺領域已經研究了許多SISR方法。早期方法包括插值，例如雙三次插值和基於統計圖像先驗或內部塊復現信息的更強大的方法。
目前，學習方法被廣泛用於建模從LR到HR的映射。鄰域嵌入，圖像塊子空間內插方法。
稀疏編碼方法使用基於稀疏信號表示的學習緊緻字典.最近的隨機森林和卷積神經網絡（CNN）也被廣泛使用且精度大幅提高。
其中，Dong等 已經證明，CNN可以用於以端到端的方式學習從LR到HR的映射。他們的方法稱爲SRCNN，不需要任何其他方法中通常需要的工程特徵，並顯示出最先進的性能。
SRCNN在超分辨率（SR）問題中成功地引入了深入的學習技術，但在三個方面有侷限性：第一，它依賴於小圖像區域的上下文; 第二，訓練收斂太慢; 第三，網絡只適用於一個採樣scale。即：
訓練層數少，沒有足夠的視野域；
方法貢獻
針對上述問題，論文算法提出了採用更深的網絡模型。主要貢獻：基於殘差的深度CNN結構。該結構使用殘差連接將低清圖像與CNN的輸出相加得到高清圖像即僅用CNN結構學習低清圖像中缺乏的高清細節部分。並用三種技術解決了SRCNN算法的問題。
第一種技術是殘差學習，CNN是端到端的學習，如果像SRCNN方法那樣直接學習，那麼CNN需要保存圖像的所有信息，需要在恢復高清細節的同時記住所有的低分辨率圖像的信息。如此，網絡中的每一層都需要存儲所有的圖像信息，這就導致了信息過載，使得網絡對梯度十分敏感，容易造成梯度消失或梯度爆炸等現象。而圖像超清問題中，CNN的輸入圖像和輸出圖像中的信息很大一部分是共享的（共享同樣的低頻信息，一個高分辨率圖像可以分解爲低頻信息（低分辨率圖像）和高頻信息（殘差圖像或者高頻信息）），所以提出了一種當輸入和輸出高度相關時的有效學習的網絡結構。而殘差學習是隻針對圖像高清細節信息進行學習的算法。CNN的輸出加上原始的低分辨率圖像得到高分辨率圖像，即CNN學習到的是高分辨率圖像和低分辨率圖像的差。如此，CNN承載的信息量小，更容易收斂的同時還可以達到比非殘差網絡更好的效果。高清圖像之所以能夠和低清圖像做加減法，是因爲，在數據預處理時，將低清圖像使用插值法縮放到與高清圖像同等大小。於是雖然圖像被稱之爲低清，但其實圖像大小與高清圖像是一致的。
第二種技術是高學習率，網絡越深、卷積核尺寸大小固定、感受野越大，表示輸出時，可以利用的局部信息越多。但是SRCNN層數越高，性能並未提升，因爲收斂困難或者有的濾波器沒有被激活，SRCNN網絡加深到20層，則很難收斂，若學習率設置小，收斂太慢，若在CNN中設置高學習率通常會導致梯度爆炸，因而在使用高學習率的同時還使用了自適應梯度截斷。截斷區間爲[-θ/γ, θ/γ]，其中γ爲當前學習率，θ是常數。
第三種技術是數據混合，最理想化的算法是爲每一種倍數分別訓練一個模型，但這樣極爲消耗資源。因而，同之前的算法不同，本技術將不同倍數的數據集混合在一起訓練得到一個模型，從而支持多種倍數（任意的）的高清化，在多種下采樣因子的情況下參數是共享的。
訓練的目標函數
r = y − x, where most values are likely to be zero or small.我們的損耗層需要三個輸入：殘差估計，網絡輸入（ILR圖像）和真實原始HR圖像。損失計算爲重建圖像（網絡輸入和輸出的總和）與原始HR圖像之間的歐幾里德距離。
參考：
http://geek.csdn.net/news/detail/192948