任意模糊核的深度即插即用超分辨率(Deep Plug-and-Play Super-Resolution for Arbitrary Blur Kernels)

Deep Plug-and-Play Super-Resolution for Arbitrary Blur Kernels
Kai Zhang 1,2 , Wangmeng Zuo 1,3,∗ , Lei Zhang

本文在基於深度神經網絡的基礎上,提出了一個比雙三次退化模型更實際的退化模型,採用了即插即用的方法去對任意模糊內核的LR圖像進行LR估計,
更簡單的 simple super-resolver prior而不是高斯先驗,是即插即用SISR的一個應用。
摘要:

1、爲什麼提出:
基於單圖像超分辨率的深度神經網絡主要爲雙三次降解而設計,單是對於任意模糊內核的低分辨率的超分辨率重建是一個挑戰。
2、plug-and-play圖像重建由於易插入降噪器先驗的模塊結構具有較高的靈活性。
通過可變分裂技術推出出一種即插即用的算法,來優化新的降解誘導能量函數。
它允許我們插入任何超重建先驗,而不是作爲模塊的去噪先驗。
3:本文方法:在基於SISR的雙三次降解的基礎上融合即插即用的模型去處理任意模糊核的低分辨率重建。

新的SISR退化模型,優點:利用現有的盲去模糊模型去進行模糊核估計。
結論:
本文設計了一個有利於盲模糊方法去進行和估計的退化模型,並採用半二次分裂算法來求解能量函數,重拾使用了即插即用的優點。
結果表明特設的模塊去處理模糊圖像能夠處理任意的模糊核。
優點3:It also turns out that we can plug super-resolver prior rather than
denoiser prior into the plug-and-play framework

表和圖:
1、圖1和表1:三種模糊核
(1)高斯模糊內核
(2)運動模糊內核
(3)磁盤模糊內核
2、表2數據集BSD68,對於不同的尺度因子的不同去模糊方法,平均的PSNR,SSIM比較
圖2—4 尺度因子爲4的三個模糊方法的不同方法的比較。
圖5 不同模糊核和不同的噪聲級別的DPSR收斂曲線
圖5 尺度因子爲4,3,2.同時噪音圖像沒有模糊。

本文關注於任意均勻模糊核的非盲SISR研究
研究價值:從現有簡單的降採樣SISR到在最終的盲SISR.
(1)提出了一個比雙三次退化模型更實際的退化模型。考慮了任意模糊內核,並使用現有的方法進行模糊內核估計。
(2)deep plug-and-play super-resolution即插即用的超分別率框架可以應用於雙三次退化模型以外的任意模糊內核LR圖像
參數設置:
1、
2、

模糊方法比較:
1、兩種代表性的DNN雙三次降解方法:VDSR和RCAN
VDSR是第一個SISR網絡 (增加了網絡的深度,但是缺乏降三次插值的效率)
RCAN超過400層,實現了最先進的雙三次諒解
2、兩個級聯的去模糊和SISR方法 (IRCNN+RCAN和 DeblurGAN +RCAN)
IRCNN是一個深度去噪先驗的即插即用方法,用來處理非盲圖像去模糊。
GAN是一個基於生成對抗網絡的深度盲去模糊方法
GAN和VGG損失被用來去改善感性視覺質量
3、兩種特殊設計的模糊LR圖像方法 (GFN 和ZSSR)
GFN是一個盲運動模糊和超分辨重建的DNN方法
ZSSR和DPSR可以作爲模糊核和噪聲級別作爲輸入。

Plug-and-play image restoration即插即用的圖像恢復主要思想是用可變分割技術展開能力海曙,取代了以前的分割技術關於任何現成高斯分佈相關子問題的噪音。 在以下幾方面展開:
(1)不同的變量分割算法 半二次分裂算法(HQS),交替方向法乘法器(ADMM),原始對偶算法
(2)不同應用:泊松,去馬賽克,去模糊,超分辨率和修復
(3)不同類型的降噪鮮豔,BM3D, DNN
(4)從不動點和納什均衡分析收斂

直接採用SRMD作爲超解析先驗,因爲輸入裏已經包含了噪聲水平圖
SRResNet+ 優勢 (文獻34.58)
1 額外取一個噪聲水平圖M作爲輸入
2增加了特徵映射的數量64——96
3 去除了歸一化層

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章