近日哈爾濱工業大學、廣東工業大學、清華大學與臺灣國立清華大學等研究人員共同撰寫一篇深度學習在圖像去噪上的綜述並在arxiv發表，該綜述系統地總結圖像去噪的重要性、圖像去噪技術的發展、傳統的機器學習和深度學習的圖像去噪技術的優缺點以及刨析出圖像去噪技術面對的挑戰與潛在的研究點。該綜述對學術界和工業界都有重要的指導作用，值得學習。
Deep Learning onImage Denoising: An Overview
論文鏈接：https://arxiv.org/abs/1912.13171
相關代碼鏈接：https://github.com/hellloxiaotian
1 背景與動機
數字圖像設備已經被應用在天氣預測、災難救援、安全監控與醫學診病等多個領域。然而數字設備常受到相機抖動、運動的物體、暗光和噪聲等影響而導致捕獲的照片不乾淨。因此圖像去噪技術的研究具有重要的理論和實際應用價值。
圖像去噪技術在20世紀90年代已經成爲研究熱點。例如：用非局部相似性來優化稀疏方法能提高去噪的性能。字典學習有助於快速移除噪聲[46]。先驗知識通過平滑噪聲圖像來恢復潛在乾淨圖像的細節。更多競爭去噪方法包括MRF 、WNNM 、LSSC、CSF 、TNRD和GHEP能被利用。
雖然這些大部分方法在圖像去噪上能達到好的性能，但是他們有以下缺點：
(1) 在測試階段涉及複雜優化方法,
(2) 手動的設置參數,
(3) 一個固定的模型來處理單個去噪任務。擁有靈活結構，深度學習技術擁有強的自學習能力來解決這些方法的缺點。
2 本文研究框架
本文有淺到深介紹深度學習在圖像去噪應用，首先介紹深度學習在圖像處理的基本框架，包括：有監督和無監督機器學習、卷積網絡、深度學習在圖像去噪的主要結構（如：VGG、ResNet、GoogLeNet和GAN）和深度學習技術常用軟件和硬件；其次重點介紹深度學習技術在圖像去噪上應用，如圖示1所示：
深度學習技術在圖像去噪上應用包括外加的白噪聲圖像去噪的深度學習技術、真實噪聲圖像去噪的深度學習技術、盲去噪的深度學習技術和混合噪聲圖像去噪的深度學習技術。
2.1 外加的白噪聲圖像去噪的深度學習技術：
CNN/NN for AWNI denoising, CNN/NN and commonfeature extraction methods for AWNI denoising 和The combination of optimization method and CNN/NNfor AWNI denoising。
2.1.1 CNN/NN for AWNI denoising：
根據噪聲的屬性設計不同網絡結構是極爲關鍵的，設計網絡結構有以下方式：
（1）利用多視角來設計網絡；
（2）改變Loss函數；
（3）增加CNN的寬度或者深度；
（4）在CNN中增加任意的插件；
（5）在CNN中使用跳躍連接 (Skip connection)或者級聯操作（Cascadedoperations）。
補充說明：
第（1）種方式：包括三種類型：一幅噪聲圖像作爲多個子網絡的輸入；一個樣本的不同角度作爲網絡的輸入；一個網絡的不同通道作爲輸入。
第（4）種方式：任意插件包括激活函數、空洞卷積、全連接層和池化層等。
第（5）種方式：包括skip connection和cascaded operation。表 1 提供CNNs/NNs forAWNI denoising的總結。
[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-APw75nfo-1581496121355)(http://bbs.cvmart.net/uploads/images/202001/27/3/BRKj8hRcO1.png?imageView2/2/w/1240/h/0)]
2.1.2 CNN/NN and common feature extraction methodsfor AWNI denoising：
weak edge-information, non-linear, high-dimensional and non-salient noisyimages 和high computational costs。對於weakedge-information noisy images來說，CNN with transformation domain method來移除噪聲是非常有效的。對於non-linear noisy images來說，CNN with kernel method在恢復潛在乾淨圖像是非常有效的。這類方法一般有三步：
第一步用CNN來提取特徵，
第二步勇核方法來把獲得非線性特徵轉爲線性特徵，
第三步利用殘差技術來重構潛在的乾淨圖像。
對於high dimensional noisy images來說，CNN和降維方法的組合是常用的去噪方法。對於non-salient noisy images來說，信號處理方法能引導CNN來提取顯著的特徵。對於high computational cost， CNN和圖像的屬性結合能有效地降低複雜度。上述涉及方法的更多信息被展示在表2。
2.1.3 The combination of optimization method and CNN/NN for AWNI denoising：
（1）提高去噪速度，
（2） 提高去噪的性能。
對於提高去噪效率，把優化方法嵌入到CNN來尋找最優解決是不錯工具。此外，把噪聲映射和噪聲圖像塊作爲CNN的輸入也能提高預測噪聲的速度。對於提高去噪的性能，把CNN和先驗知識結合起來能有效移除噪聲。表3展示The combination of optimization method and CNN/NN for AWNI denoising方法的詳細信息。
[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-c2Ggwf93-1581496121356)(http://bbs.cvmart.net/uploads/images/202001/27/3/Hkf7PpTVXG.png?imageView2/2/w/1240/h/0)]
2.2 Deep learning techniques for real noisy image denoising：
單一的end-to-end的CNN和CNN和先驗知識的結合。對於第一類，設計網絡結構對處理真實噪聲圖像是流行的。把多尺度、Skip connection、batch renormalization、dilated convolutions、attention mechanism融合到CNN中都能有效處理真實噪聲圖像。這些方法的詳細信息被展示在表4：
[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-PuQMQbhL-1581496121357)(http://bbs.cvmart.net/uploads/images/202001/27/3/UqDICHwBnV.png?imageView2/2/w/1240/h/0)]
對於第二方面把CNN和先驗知識組合能很好地解決真實噪聲圖像。驗證知識包括HQS、TV和channel prior。表5顯示這些方法的詳細信息。
2.3 Deep learning techniques for blind denoising:
利用image device和soft shrinkage和CNN/NN結合能很好地進行blind denoising。更多方法在表6被展示。
2.4 Deep learning techniques for hybrid noisy imagedenoising:
用warped guidance和CNN、單一的CNN以及CNN和iterative algorithm都能很好地移除混合噪聲，更多信息如表7所示：
3 實驗結果
3.1 數據庫：
3.1.1訓練集：
BSD400、Waterloo Exploration Database和polyU-Real-World Noisy Images。
3.1.2測試數據集：
Set12、BSD68、CBSD68、Kodak24、McMaster、CC、DND、NC12、SIDD和Nam。
3.2 Deep learning techniques for additive white noisy-image denoising結果
[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-8gr40AK9-1581496121362)(http://bbs.cvmart.net/uploads/images/202001/27/3/0Qwgy2yp9A.png?imageView2/2/w/1240/h/0)]
[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-4UmVW5nv-1581496121364)(http://bbs.cvmart.net/uploads/images/202001/27/3/ruSJ2Hs8jg.png?imageView2/2/w/1240/h/0)]
[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-5ImoyFUp-1581496121364)(http://bbs.cvmart.net/uploads/images/202001/27/3/3Hbo4Pxj4O.png?imageView2/2/w/1240/h/0)]
[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-BuXVqual-1581496121365)(http://bbs.cvmart.net/uploads/images/202001/27/3/ECSSsKwoBp.png?imageView2/2/w/1240/h/0)]
[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-AZpz2ZmZ-1581496121366)(http://bbs.cvmart.net/uploads/images/202001/27/3/zugWqZCa1J.png?imageView2/2/w/1240/h/0)]
[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-qAfv8UN0-1581496121367)(http://bbs.cvmart.net/uploads/images/202001/27/3/tKiAuILZ0E.png?imageView2/2/w/1240/h/0)]
[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-VSEK3T0y-1581496121368)(http://bbs.cvmart.net/uploads/images/202001/27/3/En10DdpEWq.png?imageView2/2/w/1240/h/0)]
[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-qkTmGp9Z-1581496121369)(http://bbs.cvmart.net/uploads/images/202001/27/3/UV23hPxv6p.png?imageView2/2/w/1240/h/0)]
3.3 Deep learning techniques for real-noisy image denoising結果
Deeplearning techniques for blind denoising結果
3.4 Deep learning techniques for hybrid-noisy-image denoising結果
4 討論
深度學習一般在圖像去噪上都是提高圖像性能、去噪效率和複雜的噪聲圖像。
4.1提高去噪性能，有如下解決方法：
(1)增大網絡的感受野能捕獲更多上下文信息來提高去噪性能。其中，增加網絡寬度和深度是增加感受野最常見的方式，然而，他們會導致高的計算代價和更多內存消耗。空洞卷積能有效解決這個問題。
(2)CNN和先驗結合能提取出來更魯棒的特徵。
(3)組合局部和全局的信息能提高網絡的記憶能力。
(4)把信號處理機制融合都CNN能更好遏制噪聲。
(5)數據增加能提高圖像去噪性能。
(6)遷移學習、圖學習和網絡搜索能很好處理噪聲圖像。
4.2提高去噪效率
壓縮網絡能有效地提高去噪的速度。減少網絡寬度和深度、利用小的卷積核、組卷積都能有效地提高去噪速度。
4.3解決複雜的噪聲圖像
利用分佈機制是非常流行的。第一步利用CNN來估計噪聲級別作爲ground truth或者恢復高分辨率圖像。第二分用來恢復潛在乾淨圖像。
4.4挑戰
（1）更深的網絡需要佔用更多內存。
（2）更深的去噪網絡不能穩定地訓練真實噪聲圖像、沒有類標的噪聲圖像的模型。
（3）真實噪聲圖像不是容易獲得的。
（4）更深地網絡是困難來解決無監督去噪任務。
（5）尋找更精確的去噪衡量指標。
5 結論
在本文我們對不同去噪網絡進行全面地研究和系統地總結。首先，我們展示用於圖像去噪的深度學習的基本框架。然後，用於不同去噪任務（如：外加白噪聲、盲噪聲、真實噪聲和混合噪聲的圖像）的深度學習技術被提出。接着，我們針對不同任務分析去噪網絡的動機和理論。最後，我們比較了不同方法的去噪結果、效率和可視化效果。此外，我們也指出深度學習技術在圖像去噪的潛在研究點和挑戰。
作者介紹
田春偉
哈爾濱工業大學（深圳）計算機科學與技術學院2017級春季博士生, IEEE Student Member, CAAI Student Member和CCFMember。
目前研究方向爲基於深度網絡的圖像復原研究。發表論文20餘篇，其中發表CCF推薦論文5篇（第一作者發表CCF B類的TOP期刊2篇、中國人工智能會刊1篇）；申請發明專利3項、軟件著作權4項，參與國家面上基金1項、深圳市重點項目1項、國家自然青年基金1項、黑龍江省自然基金1項以及主持國家大學生創新創業項目1項；並獲得包括2019、2016和2015年碩士研究生國家獎學金、2012年國家獎學金；2019、2016和2014年黑龍江省三好學生以及2019、2018年哈工大優秀學生等在內的國家省部校級榮譽共計30餘項。
此外，擔任The 18th IEEE InternationalConference on Dependable, Autonomic and Secure Computing (DASC 2020)的PC、2019 ijcai PC assistant、IEEE Transactions on Industrial Informatics、Neurocomputing、Computer Vision and Image Understanding、VisualComputer、IEEE Access、Journal ofModern Optics、International Journal of Biometrics、International Journal of Image and Graphics、CAAITransactions on Intelligence Technology、3rd Asian Conferenceon Artificial Intelligence Technology和2019International Conference on Artificial Intelligence, Information Processing andCloud Computing等多個期刊和會議審稿人
個人主頁：
https://scholar.google.com.hk/citations?hl=en&user=XGDP6QwAAAAJ&view_op=list_works&sortby=pubdate
https://github.com/hellloxiaotian
——END——