Deeply-Recursive Convolutional Network for Image Super-Resolution
摘要
我們提出了使用深度遞歸卷積網絡（DRCN）的圖像超分辨率方法（SR）。 我們的網絡有一個非常深的遞歸層（最多16個遞歸）。增加遞歸深度可以提高性能，而不會爲附加捲積引入新參數。 儘管有一個優點，但由於梯度爆炸/消失問題，使用標準梯度下降法來學習DRCN是非常困難的。爲了減輕模型訓練的難度，我們提出兩個擴展：遞歸監督和跳過連接。
介紹
對於圖像超分辨率（SR），卷積網絡的感受野決定了可以利用的上下文信息的量來推斷丟失的高頻分量。例如，如果訓練中一類邊緣信息出現在感受野中，那麼重建過程中這一類邊緣可以被識別且強化。由於SR是一個不定逆向問題，收集和分析更多的鄰域像素可對恢復下采樣後可能丟失的信息提供更多線索。
成功實現各種計算機視覺任務的深度卷積網絡（DCN）通常使用非常大的感受野（ImageNet分類中常見的224x224）。在擴展感受野的許多方法中，增加網絡深度是一種可能的方式。利用大於1×1的過濾器大小的卷積（轉換）層或者減少中間表示的維度的池層可以使用的。 這兩種方法都有缺點：層引入更多的參數和池層。網絡層通常丟棄一些像素級別的信息。
對於圖像恢復問題，如超分辨率和去噪，圖像細節非常重要。因此，這些問題的大多數深度學習方法不能使用池化技術。通過添加新的網絡層來增加深度，基本上會引入更多的參數。可能會出現兩個問題。首先，很可能會過度擬合，需要更多的訓練數據，使模型變得越來越大。
爲了解決這些問題，我們使用深度遞歸卷積網絡（DRCN）。DRCN根據需要重複地使用相同的卷積層參數。參數的數量不會增加，而執行了更多的遞歸。我們的網絡的感受野爲41乘41，與SRCNN相比較（13比13）。DRCN具有良好的性能，我們發現用廣泛使用的隨機梯度下降法優化的DRCN不容易收斂。這是由於爆炸/消失的梯度。提出了一個高性能的模型結構，能夠捕捉像素長程的依賴，在保持較小模型的情況下，有更寬的感受野，41×41。
我們提出兩種方法來緩解訓練的難度。首先，對所有遞歸進行監督。每個遞歸之後的特徵圖用於重構目標高分辨率圖像（HR）。重建方法（專用於重建的層）對於所有遞歸都是相同的。由於每個遞歸導致不同的HR預測，因此我們將從不同遞歸級別得到的所有預測結合起來，以提供更準確的最終預測。第二個提議是使用從輸入到重建層的跳過連接。在SR中，低分辨率圖像（輸入）和高分辨率圖像（輸出）在很大程度上共享相同的信息。然而，輸入的精確副本在許多正向傳遞期間可能被衰減。我們將輸入顯式連接到層以進行輸出重建。當輸入和輸出高度相關時，這是特別有效的。
論文貢獻
遞歸網絡：遞歸網絡與前饋網絡有所不同，遞歸網絡中節點間連接方式存在反饋，即神經元之間存在着反饋迴路。因此在遞歸網絡中，輸入也可以由同一層的各節點通過反饋迴路輸入，還可以由下一層的各節點通過反饋迴路輸入。遞歸網絡中至少存在一個反饋環，反饋環對整個神經網絡的學習、“記憶”等性能有較深的影響。遞歸網絡，即數據循環地通過該層多次。將這個循環進行展開，就等效於使用同一組參數的多個串聯的卷積層。
貢獻一：因爲重建過程只是重建圖片的高頻細節，所以低分辨圖片的大部分信息可以用到的, 增加低分辨率圖片,作爲ReconNet的輸入(即skip connection).低分辨率圖像和網絡輸出的高分辨率圖像有很高的相關性，而隨着遞歸深度的加深學習不到這種線性映射，所以通過該技巧可以使用大部分低分辨率信息用於重建高分辨率圖像。
貢獻二：提出使用的卷積層增加網絡感受野（41*41），同時避免過多網絡參數，提出遞歸神經網絡，中間隱層參數共享，參數數量減少，不過遞歸網絡同樣也容易出現梯度消失或者梯度爆炸，所以提出遞歸監督。DRN中間隱層使用遞歸層，共享網絡參數，使得網絡參數變少。DRN網絡層的中間隱層的輸出也可以用於最後的重建，文章裏訓練的時候後向傳播可以有多條路徑傳播誤差。下圖DRN的訓練目標函數, 網絡隱層的參數共享，隱層輸出的feature map參與重建，加入損失函數。
網絡結構
整個網絡分三個部分，每個部分都只有一層隱層，只有inference
網絡是遞歸的。
Embedding network ：用於從RGB和灰度圖像產生feature
map，相當於特徵提取
inference network ：解決超分辨率，相當於特徵的非線性變換。
reconstruction network：用於把多個通道的轉成三個通道的圖片。
recursive-supervision ：訓練遞歸網絡也會出現梯度爆炸和梯度消失，所以作者使用遞歸層監督，可以讓損失通過多條路徑傳播。每一個子層都是256個filters，filter尺寸爲3×3。每一個循環子層的loss都會疊加到最終的總loss，從而成爲一個有效的supervision，也對梯度消失與爆炸有平滑作用。
skip-connection：使用該技巧的原因是超分辨率重建，低分辨率圖像和網絡輸出的高分辨率圖像有很高的相關性，而隨着遞歸網絡深度加深學習不到這種線性映射，所以通過該技巧可以使用大部分低分辨率信息用於重建高分辨率圖像。
其中的到是D個共享參數的卷積層。DRCN將每一層的卷積結果都通過同一個Reconstruction
Net得到一個重建結果，從而共得到D個重建結果，再把它們加權平均得到最終的輸出。另外，受到ResNet的啓發，DRCN通過skip
connection將輸入圖像與的輸出相加後再作爲Reconstruction
Net的輸入，相當於使Inference Net去學習高分辨率圖像與低分辨率圖像的差，即恢復圖像的高頻部分。
訓練目標函數
我們現在描述用於找到我們模型的最優參數的訓練目標。 給定訓練數據集{x（i），y（i）}，我們的目標是找到準確預測值y
= f（x）的最佳模型。在最小二乘迴歸設置中，SR中的典型訓練目標是在訓練集中平均的均方誤差y
- f被最小化。這有利於得到高峯值信噪比（PSNR），這是廣泛使用的評估標準。其中α表示伴隨目標對中間輸出的重要性，β表示重量衰減的乘數。
設置α高使訓練過程穩定，因爲早期遞歸容易收斂。 隨着訓練的進行，α衰退提高了最終輸出的表現。
參考：