Deep Multi-scale Convolutional Neural Network for Dynamic Scene Deblurring(2017CVPR) 閱讀筆記

• Deep Multi-scale Convolutional Neural Network for Dynamic Scene
  Deblurring 深度多因子卷積神經網絡應用於動態場景去模糊 。其實就是【CNN用於運動圖像去模糊】
• 原文鏈接：https://arxiv.org/pdf/1612.02177.pdf
• 作者發佈的用於運動去模糊的訓練數據集 GOPRO
  dataset（現已經成爲基於深度學習的去模糊算法最常用的數據集之一）下載地址：https://github.com/SeungjunNah/DeepDeblur_release

一、Introduction

傳統方法都是依據以下式子做去模糊：

B：blurred image  （Known）
S：sharp image     (Unknow)
K：blur kernel     (Unknow)
n：addictive noise（Known）

• K是作用在S上的模糊卷積核，是模糊的成因（例如在按下快門的一瞬間，你手抖了，或者說失去焦點，就會很容易造成呈像模糊）。
• 對於盲去模糊，【盲】的意思就是【無標籤，無sharp image，無S】，另外在去模糊問題本身，K一直都是未知的，人們只能【假想出/假設出/模擬出】近似的K，然後通過在B上進行【退卷積】操作得到S：
  
  這裏的Kassume就是估計/假設出來的模糊卷積核，定義∝爲退卷積操作。
• 傳統方法是以上那樣子做的，但是有以下缺點：
  1） 難以獲得實測清晰圖像和模糊圖像對用於訓練圖像去模糊網絡；
  2） 對於動態場景的圖像去模糊問題，難以正確估計/假設出【Kassume模糊核】；
  3） 去模糊問題需要較大的感受野。
  故下面【本文工作】來了！

二、本文工作

• 弄了一個專門爲運動去模糊創造的數據集，內含【sharp】和【blurred】兩個文件夾，就是一對對的sharp和blurred圖像，blurrd圖像是通過對sharp圖像進行一系列變換，得到的（作者用了參考文獻17的方法，具體我沒細看）

• 弄了一個【多尺度CNN模型】，對B進行端到端的學習，直接得到S，而不學習Kassume，得到的結果就沒有那種因爲模糊核估計錯誤而產生的【僞像】。另外該網絡的設計其實是模仿傳統方法的【由粗到細】優化方法（下面會說）。
  網絡結構如下：

• 作者通過三個多尺度的卷積神經網絡，其中B1爲待復原圖像，分別降採樣兩次爲B2 B3。

• 將降採樣的結果分別輸入到網絡中得到相應分辨率尺寸下復原結果，並將復原結果作爲下一階段的輸入，從而知道後續的復原【上面的圖片要從下往上看】。

• 這種多尺度的策略，類似於傳統的模糊核估計中的【由粗到細】的策略，將複雜的問題進行分解，逐步復原，先在低分辨率下復原大尺度的信息，然後再高分辨率下復原細節信息。簡化問題的同時增大了圖像的感受野。

PS：該博文只記錄一下論文作者的思路和網絡結構，實現細節沒有看所以沒寫，以後覺得對本人研究工作有用了會翻出來仔細看一遍。