Learning a Single Convolutional Super-Resolution Network for Multiple Degradations(CVPR2018) 閱讀理解

       我們提出了一個簡單但有效且可擴展的deep CNN框架爲SISR。該模型超越了廣泛使用的雙三次退化假設,適用於多種甚至是空間變化的退化,爲開發一種實際應用的基於cnn的超解析器邁出了實質性的一步;

       針對LR輸入圖像、模糊核和噪聲之間的維數不匹配問題,提出了一種新的維數拉伸策略。雖然這個策略是爲SISR提出的,但它是通用的,可以擴展到其他任務,如去模糊。如下圖,感覺這個最具有創意,具體效果不知道好不好。

      研究結果表明,基於合成訓練數據的卷積超分辨率網絡不僅能與現有的合成LR圖像上的SISR方法相比較,而且能在真實LR圖像上產生視覺上可信的結果。

     與圖像去模糊不同,SISR的模糊內核設置通常比較簡單。 最常用的選擇是用標準差或核寬作爲參數的各向同性高斯模糊核.有的文章 各向異性高斯模糊核也被使用。 更復雜的模糊內核模型用於去模糊任務,如運動模糊。 實驗和理論分析表明,精確模糊核的影響比複雜圖像先驗[12]的影響要大得多。具體地說,當假定的內核比真實內核更平滑時,恢復的映像將被過度平滑。大多數SISR方法實際上都支持這種情況。另一方面,當假定的內核比實際內核更鋒利時,將出現高頻振鈴僞影。

     由於低分辨率,LR圖像通常也有噪聲。直接超分辨噪聲輸入而不去除噪聲,會放大不需要的噪聲,造成視覺上的不愉快結果。要解決這個問題,最直接的方法是先去噪,然後提高分辨率。然而,去噪預處理步驟容易丟失細節信息,從而影響後續的超分辨率性能[43]。因此,聯合進行去噪和超分辨率是非常可取的。

      現有文獻考慮了兩種類型的下采樣器,包括直接下采樣器[11,和雙三次下降採樣器[7,12,14,15,47,52)。本文考慮了雙三次下降採樣器,當k爲核時,噪聲水平爲零,即Eqn。(1)爲廣泛使用的雙三次退化模型。需要指出的是,與一般退化模型中的模糊核和噪聲不同,降採樣器假設是固定的。

      這是一個具有挑戰性的任務,因爲模糊核和噪聲的退化空間相當大。 首先,我們的方法考慮一個更一般的退化模型。其次,我們的方法利用了一種更有效的方法來參數化退化模型。

 

Why not Learn a Blind Model?

      盲模型並沒有預期的那麼好。 首先,當blur內核模型很複雜時,性能會嚴重惡化,加劇像素平均問題。 其次,沒有專門設計體系結構的盲模型泛化能力較差,在實際應用中表現較差。

     相比之下,多重退化的非盲模型在像素平均問題上的損失較小,具有較好的泛化能力。 首先,退化映射包含扭曲信息,從而使網絡具有空間轉換能力。 也就是可以將由模糊核和噪聲水平引起的退化映射作爲空間變壓器的輸出。另外作者採用退化map, 非盲模型易於推廣到不可見退化,並具有控制數據保真項和正則化項之間權衡的能力。

 

  定義模糊內核和噪聲級別範圍很重要!

    對於模糊核,我們採用具有固定核寬的各向同性高斯核模型,並在SISR應用中得到了實際可行的結果, 爲了進一步擴展退化空間,我們還考慮了一個更一般的內核假設,即,各向異性高斯函數,其特徵是均值爲0, 不同的協方差矩陣的高斯概率密度函數,這種空間大小由特徵向量的旋轉角度和特徵值縮放決定。

     在本文中,我們提出了一種有效的超分辨率網絡,它具有高可擴展性,可以通過一個模型處理多個退化, 該超分解器以LR圖像及其退化圖爲輸入。 通過對退化參數進行簡單的維數拉伸,得到退化圖。 合成LR圖像的實驗結果表明,所提出的超分辨算法不僅能得到最優的雙三次退化結果,而且對其它退化甚至空間變異退化都有較好的處理效果。

https://github.com/cszn/SRMD

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章