圖像超分辨率論文筆記

Real-World Super-Resolution via Kernel Estimation and Noise Injection

• 論文鏈接：http://openaccess.thecvf.com/content_CVPRW_2020/papers/w31/Ji_RealWorld_SuperResolution_via_Kernel_Estimation_and_Noise_Injection_CVPRW_2020_paper.pdf
• 代碼：RealSR
• CVPR2020， NTIRE2020 RWSR雙賽道冠軍
• 算法結構：
  
  1）提出新的數據製作方案：統計模糊核與真實噪聲分佈並用於製作訓練數據對，確保生成的LR圖像具有與源域圖像相似的屬性；2）判別器採用塊判別器，可以去除僞影；
  2）計算模糊核，參考KernelGAN，滿足的約束條件爲
  $arg min||(I_{src}*k)\downarrow _s-I_{src}\downarrow _s||_1+|1-\sum k_{i,j}|+|\sum k_{i,j} \cdot m_{i,j}|+|1-D((I_{src}*k)\downarrow _s)| (4)$

$(I_{src}*k)\downarrow _s$表示利用核k進行降採樣的LR圖像，$I_{src}\downarrow _s$表示基於理想核進行降採樣的LR圖像。第二項爲正則化項，第三項爲邊界懲罰項;
2）提取噪聲：如果某個塊的方差小於設定的閾值，則將其納入到降質池中。這個規則可以描述爲$\sigma(n_i) \lt v （7）$;
4）RealSR降質算法：

Perceptual Extreme Super Resolution Network with Receptive Field Block

• 論文鏈接：https://arxiv.org/abs/2005.12597
• 代碼：暫未開源
• CVPR2020， NTIRE2020 感知極限超分賽道冠軍
• 網絡結構（基於ESRGAN）：
  
  1）RRDB模塊
  2）RRFDB模塊
  
  3）RFB模塊
  
  關注不同層次的細節，且減少運算量和參數量；
  4）上採樣模塊
  
  最近鄰插值法上採樣關注空間的特徵轉換，亞像素層關注depth-to-space，兩者交替結合效果更好；
  5）訓練時，先PSNR-oriented訓練，將其作爲預訓練模型，然後添加內容損失和對抗損失進行微調；
  6）最終採用網絡插值，取在測試集上最好的十個模型進行網絡集成