生成對抗圖像超分辨率Pohoto-Realistic Single Image Super-Resolution Using a Generative Adversarial(SRGAN)

摘要:

本文的目的是:

在單張圖像的超分辨率,面向大尺度超分辨率(x4)

optimization-based super-resolution method 受目標函數選擇影響,目前以mms(minimizing the mean squared)爲目標函數,即損失函數+結果估計peak signal-to-noise 峯值信噪比爲主要模式,但是缺少高頻細節

本文主要用了兩種損失函數:

一種是內容損失,另一種是對抗損失

內容損失:包含兩部分,其一是MSE像素級損失

其二是:感知損失:本文采用訓練好的VGG的特徵表達之間的損耗=歐氏距離(生成圖像特徵表達,標準圖像的特徵表達)如式(5),本文對選取高維特徵還是低維特徵做了對比實驗,本文是選用5.4高維特徵

對抗損失

結論:可以恢復圖像降採樣後的紋理特徵

Introduction

(簡單談了SR方法目標損失函數是MSE,評價指標是PSNR,但是因缺少計算感知損失而缺少圖像逼真程度。)監督的SR算法優化目標是重建HR圖片與原圖之間的MSE,這種方法是方便的,因爲最小化MSE也是最大化峯值信噪比PSNR,PSNR是一種衡量SR算法的方法;但是MSE只是像素級之間的評價指標,不能捕捉高維紋理細節之間的差距。

評價指標是峯值信噪比和結構相似性,其中峯值信噪比不一定反應SR圖像效果好,缺少感知損失的計算,感知感知損失代表了圖像之間的圖像逼真。

https://baike.baidu.com/item/SSIM

本文主要是提出感知損失,採用殘差網絡,以及提出新的評價指標,但是這種評價指標不容易實現(即讓人打分),且應用侷限,應用在監控和醫療方向需要慎重!!!

無監督學習方法:

鄰域嵌入法:是流形學習(manifold learning)https://blog.csdn.net/dugudaibo/article/details/79076000 流形學習解釋CSDN

該方法:假設低分辨圖像塊與高分辨圖像塊組成的兩個流行具有相似的局部幾何結構,https://blog.csdn.net/to_xidianhph_youth/article/details/10134805

https://blog.csdn.net/wenwenbalala/article/details/53033448

根據以上方法有過擬合的趨勢,提出嶺迴歸的方法,關於迴歸有高斯迴歸、樹和隨機森林

基於CNN算法的超分辨率:

稀疏表達

先對圖像雙線性插值,參考

Learning a deep convolutional network for image super-resolution.

Image super-resolution using deep convolutional networks

直接訓練整個網絡,參考

Accelerating the super-resolution convolutional neural network

Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network.

End-to-End Image Super-Resolution via Deep and Shallow Convolutional Networks

引入遞歸卷積DRCN,參考

Deeply-recursive convolutional network for image super-resolution.

其他與本文相似的算法:

Perceptual losses for real-time style transfer and super- resolution

Super-resolution with deep convolutional sufficient statistics

2.CNN設計

在卷積網絡設計階段學到很多知識,之前一直以爲拿來一個網絡結構用,具體哪個層怎麼優化不是很清楚,不過讀完這篇博客https://blog.csdn.net/malefactor/article/details/67637785有了新的認識,見下圖

主要網絡選擇是使用BN 殘差塊 跳轉鏈接比較有優勢(本文)且本文中沒有使用max-pooling,直接使用的stride=2。

本文主要的貢獻應該就在損失函數上,在生成器損失中同時使用了三種損失函數,加入了感知損失和MSE損失,但其中的評價方法並不可靠。在網絡結構上:生成器使用的是循環16次的殘差網絡,再上採用放大兩倍,判別器中使用的搭建的網絡,感知損失使用的是VGG-19中的第四塊後的輸出

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章