自然圖像先驗與圖像復原

Introduction

圖像復原是圖像處理中最重要的任務之一，其包括圖像去噪、去模糊、圖像修復、超分辨等， 都是底層視覺中被廣泛研究的問題。實際中我們得到的圖像往往是退化後的圖像（如帶噪聲圖像、模糊圖像、被採樣的圖像等）：

y=D(x)$$y=D(x)$$

其中，y$y$ 表示觀察到的退化圖像，x$x$ 是原始圖像，D(⋅)$D(\cdot )$ 是退化函數，往往是未知的，在實際的計算中，常常使用成像物理模型近似。
圖像復原就是根據觀察到的退化圖像，估計原始未退化的圖像。這是一個病態問題，該問題的解往往不是唯一的。爲了縮小問題的解空間，更好的逼近真實解，我們需要添加限制條件。這些限制條件來自自然圖像本身的特性,即自然圖像的先驗信息。如果能夠很好地利用自然圖像的先驗信息,就可以從退化的圖像上恢復原始圖像。

圖像復原

圖像復原任務通常表示成一個損失函數的形式：

x=argminxf(x,y)+prior(x)$$x=\arg \underset{x}{min}f(x,y)+prior(x)$$

其中，f(x,y)$f(x,y)$ 表示數據保真項，使得估計出的原始圖像與退化圖像在內容上保持一致。prior(x)$prior(x)$ 則表示先驗項，來自於自然圖像本身的特性。
這個損失函數可以從概率統計角度給予很好的解釋。根據最大後驗概率估計原理，對原始圖像的估計可以表示爲：

maxP(x|y)=maxP(y|x)P(x)$$maxP(x|y)=maxP(y|x)P(x)$$

其中，P(y|x)$P(y|x)$ 表示從原始圖像x得到退化圖像y的概率，P(x)$P(x)$ 表示圖像x的先驗概率。對上式取負對數，就可以得到圖像復原的損失函數了。

自然圖像先驗

藉助於不同的自然圖像先驗信息，可以估計出不同的原始圖像。常用的自然圖像的先驗信息有自然圖像的局部平滑性、非局部自相似性、稀疏性等特徵 。下面分別做簡單介紹。

局部平滑性

自然圖像相鄰像素點之間的像素值在一定程度上是連續變化的。從頻譜上觀察，自然圖像以低頻分量爲主；從梯度直方圖上觀察，自然圖像梯度統計趨近於0。下圖爲Lena圖的梯度直方圖：

基於自然圖像梯度統計的觀察，許多先驗條件都是針對圖像梯度設計的，如梯度的L2$L_2$ 範數約束、TV約束（梯度L1$L_1$ 範數約束）、梯度L0$L_0$ 範數約束等等，都是非常常見的。最常見的應用就是在去噪上，也就是基於全局優化的濾波器的設計。
梯度L2$L_2$ 範數約束是基於梯度統計服從高斯分佈得到的，大名鼎鼎的最小權重濾波（WLS）便是基於此設計的，但是對梯度的L2$L_2$ 往往在抑制噪聲的過程中，將許多紋理也平滑掉了。TV約束是基於梯度統計服從拉普拉斯統計得到的，其對於噪聲魯棒性更好，對紋理細節的保留也優於L2$L_2$ 範數約束。梯度&L_0&範數約束比起TV約束更強調局部一致性（TV約束相較而言更強調局部平滑性）。除此之外，在圖像去模糊中，還常用到超拉普拉斯先驗，即認爲梯度分佈的範數在(0,1]之間，其更加符合對自然圖像梯度統計的描述。

先驗	表示
梯度L2$L_2$ 範數	prior(x)=∥∇∥22$prior(x)=\Vert \mathrm{\nabla }{\Vert }_2^2$
TV約束	prior(x)=∥∇∥1$prior(x)=\Vert \mathrm{\nabla }{\Vert }_1$
梯度L0$L_0$ 約束	prior(x)=∥∇∥0$prior(x)=\Vert \mathrm{\nabla }{\Vert }_0$
超拉普拉斯先驗	prior(x)=∥∇∥α$prior(x)=\Vert \mathrm{\nabla }{\Vert }^{\alpha }$ , 0<α≤1$0<\alpha \le 1$

非局部相似性

在自然圖像的不同位置，存在相似的紋理，且許多自然圖像自身的紋理存在規律性。這說明自然圖像本身信息是冗餘的，我們可以利用圖像的冗餘信息對圖像缺失或被污染的部分進行修復。

利用圖像非局部相似性首先要找到圖像中相似的紋理，最常用的方法是塊匹配，即把圖像分解成一個一個的小塊，每個小塊看作是一個單元，在圖像中尋找與其相似的一個或多個小塊。最經典的塊匹配方法當然非Barnes的PatchMatch方法莫屬。比起一個小塊一個小塊去比對，PatchMatch提供了一種近似的方法可以快速找到相似塊。
現在主流的去噪方法和圖像修復方法都是基於圖像的非局部相似性。在去噪方面，非局部均值（non local mean，NLM）是利用非局部相似性去噪的開山之作。在此基礎上發展而來的BM3D是應用最廣泛，也是效果最好的去噪方法之一。關於這兩種方法的介紹可以參見這篇博客。後面在NLM基礎上也出現了一系列的改進方法，如將非局部相似性與低秩方法結合借來的WNNM，MCWNNM等去噪方法都取得了不錯的效果。
在圖像修復方面，塊匹配方法在單幀圖像缺失部分的修補方面佔據了半壁江山。除此之外，還有基於Graph Cut進行圖像修復的方法。但無一例外，所有這些方法都是利用了圖像的非局部自相似性。關於圖像修復可以參見這篇文章對這些方法的概述。另外，這篇文章還提到了一個有意思的觀察，即自然圖像中相似塊之間的偏移量集中在少數幾個偏移量上，這也從而說明了自然圖像的紋理分佈是存在一定週期性規律的。

稀疏性

稀疏性本身是指矩陣或向量中非零元素個數很少。對於自然圖像來說，就是其可以用少量的幾個獨立成分來表示。即圖像可以通個某些線性變化變成稀疏信號。圖像的稀疏性是圖像可以用壓縮感知方法進行恢復的先決條件。
壓縮感知進行圖像恢復的過程如下圖所示，圖像經過線性基變換Ψ$\mathrm{\Psi }$ 可以變成稀疏向量S$S$ 。對原始圖像進行隨機採樣可以得到觀測向量y$y$ 。利用觀測向量y$y$ 和恢復矩陣Θ$\mathrm{\Theta }$ （常常是冗餘字典）可以恢復出原始圖像。

統計特性

統計特性是通過對大量圖像進行學習得到的統計規律。這種特性比較抽象，一般對圖像進行概率分佈建模，將統計特性融合在概率模型的求解的參數裏。一個比較常見的例子是EPLL先驗（Expected Patch Log LIkelihood），其使用混合高斯模型從大量自然圖像塊中學習到先驗知識。
基於監督模型的深度學習方法也是利用神經網絡去自學習自然圖像中的統計特性。

Deep image prior

這是CVPR2018的文章。其也是通過神經網絡獲取圖像先驗，只不過與上面提到的用神經網絡學習大量圖像中的統計特性不同，deep image prior認爲神經網絡本身就是一種先驗知識，網絡自身結構限制瞭解的範圍。網絡會從退化圖像中提取特徵以用於退化圖像的復原，且從結果可以看到，網絡會先學習到圖像中“未被破壞的，符合自然規律的部分”，然後纔會學會退化圖像中“被破壞的部分”。

Deep Image Prior類似於自然圖像的非局部自相似性。關於Deep Image Prior的介紹可以參見這裏。

參考：
1. https://www.jianshu.com/p/ed8a5b05c3a4
2. http://www4.comp.polyu.edu.hk/~cslzhang/paper/IR_lecture.pdf
3. http://www4.comp.polyu.edu.hk/~cslzhang/paper/SPM_IR.pdf