模糊圖像退化與去模糊的數學模型

一 圖像退化模型
建立圖像的退化模型即是將圖像的降質的機理用數學的方式描述出來，這也是圖像去模糊成功的重要因素。通常來說，圖像的退化可以概括爲初始的輸入圖像f(x,y) ，經過退化函數k(x,y) 作用後，再附加上隨機噪聲n(x,y) ，最後輸出爲模糊圖像g(x,y) 。
用數學形式描述爲：

g(x,y)=k(x,y)⨂f(x,y)+n(x,y)

在上述退化模型確定以後，使用該模型去模糊的過程就是在模糊圖像的基礎g(x,y) 上，通過一定方法尋求合理的退化函數k(x,y) ,然後利用一定的策略求解退化的逆問題，進而獲得真實圖像f(x,y) 的儘可能高程度的近似版本。
若忽略噪聲的干擾，即令n(x,y)=0 ,假設退化函數是空間不變的，模型簡化爲：

g(x,y)=k⨂f(x,y)

圖像連續退化模型，根據傅里葉變換原理轉換到頻域：

G(u,v)=K(u,v)F(u,v)+N(u,v)

二 圖像去模糊的概率模型
通常去模糊算法的一個自然的出發點就是首先從概率的角度出發建立去模糊問題對應的方程。假設我們已經獲知降質過程中干擾圖像的噪聲類型，我們就能夠很容易的寫出模糊圖像的似然p(g|f,k) ,即g 關於f,k 的條件概率密度。根據概率知識，我們可以從最大化該條件概率出發，尋求最爲合適的f,k ,但是因圖像退化時引起信息損失進而導致去模糊問題的嚴重不適定性，如果僅僅最大化這個似然模型則容易導致結果中包含較多的振鈴效應，並且噪聲也被進一步放大。
人們通常會在去模糊過程中加如一些約束。利用一些關於清晰圖的先驗知識，根據貝葉斯理論，我們能夠構建出關於未知量的後驗分佈:

p(f,k|g)∝p(g|f,k)p(k)p(f)

如果模糊核已知條件下：

p(f|g,k)∝p(g|f,k))p(f)

其中關於未知量的先驗知識p(x) 和p(f) 是人工定義的或者從樣本數據學習得到的。把關於未知量的先驗知識結合到圖像去模糊模型中能夠克服單從模糊圖像的似然估計f 和k 時的不穩定性，改善未知量估計的質量。
最大後驗(MAP)方法
如果模糊核提前獲知，則求解出的清晰圖像爲：

f^=argmaxfp(f|g,k)

模糊核未知條件下，需要在反求清晰圖像的過程中求解模糊核：

{f^,k^}=argmaxf,kp(f,k|g)

處理上式中模型的典型手段是首先將求取概率的最大轉變成求取能的最小，將後驗分佈改寫爲吉布斯分佈的形式：

p(f,k|g)=1Zexp(−1TU(f,k))

其中是一個U 由g 決定的能量方程，z 爲歸一化常數由此可知，能夠最大化後驗概率的圖像f 和核k 同時也是使得式的值達到最小的變量。根據U(f,k)∝−logp(f,k|g)+C ,C 代表任意常數，於是我們可以得出後驗分佈對MAP 應的問題:

minf,kF(g;k,f)+αρf(f)+βρk(k)

其中方程F 對應着似然項的負對數，用於懲罰清晰圖像和模糊核卷積結果與觀察數據之間的差異，我們稱之爲數據項。而方程ρf 和ρk 對應着先驗項的負對數，分別用於懲罰清晰圖像和模糊核以使它們服從先驗知識，我們稱之爲正則項。
由於圖像中通常包含很多像素點，於是求解整幅圖像的MAP 問題將有一個非常大的解空間，這也是MAP 方法遇到的要問題,能量方程可能是個非凸的問題，在這種情況下一般不可能達到全局最優解；受校糊圖像中未知噪聲的影響，人們通常要謹慎的選擇正則項的權重。
噪聲模型有高斯噪聲，泊松噪聲，均勻分佈噪聲等。

自然圖像的先驗知識
早期文獻關注自然圖像的振幅譜，認爲自然圖像振幅譜在一定條件下近似服從一個能量定律；也有人則指出清晰圖像的熵高於模糊圖像。

近幾年來的工作主耍關注清晰圖像對濾波算子響應結果的分佈情況
假設清晰圖像中所有像素點的導數之間彼此扣獨立並服從一種零平均的高斯尺度混合型(GSM),也有人提出梯度符合超拉普拉斯分佈(看另外一篇博客)

模糊核先驗知識
首先圖像的形成過程就是光子在傳感器上不斷累積的過程，因此模糊核中的所有元素都是非負的，即其次，更爲重要的一點是模糊核通常是稀疏的，也即包含相對少量的非零元素。模糊核的這種非負稀疏特點被之前的圖像去模糊方法廣泛地使用。

三 單幅圖像去模糊
傳統的從單幅圖像出發盲去除模糊的算法一般以f 和k 的後驗分佈爲出發點：

p(f,k|g)∝p(g|f,k)p(k)p(f)

通常假設噪聲爲均勾的高斯噪聲於是其中的似然項描述爲：

p(g|f,k)∝∏iexp(−((f⨂k)i−gi)22σ2)

其中σ 是噪聲的標準差，p(f) 和p(k) 分別對應着清晰圖像和校糊核的先驗約束。
模糊核估計
Cho[1]爲了更新模糊核，和首先對當前估計的清晰圖像進行濾波處理以預測階梯邊界。通過雙邊濾波濾除大部分的噪聲，接着採用衝擊濾波來增強銳利的邊緣，得到圖像，緊接着求得該圖像x ,y 方向的導數，最後根據一定標準捨棄其中較小的值以獲得稀疏的梯度圖px 和py 。
在從清晰圖像預測和保留顯著邊緣以後，結合稀疏的導數圖像的更高階信息形成新的集合{pq={px,py,dx⨂px,12(dx⨂py+dy⨂px),dy⨂py}
用來估計模糊核：

mink∑qwq||k⨂pq−dq⨂g||22+β||k||22

其中dq∈{dx,dy,dxx,dxy,dyy} ,β 爲正則項的權重，wq 分別對應着不同的偏導數。這是一個簡單的線性最小二乘問題，容易在頻域求得其解：

k^=F−1(∑qwqF(pq)¯¯¯¯¯¯¯¯F(gq)∑qwqF(pq)¯¯¯¯¯¯¯¯F(pq)+β)

在獲得模糊核k^ 之後，對其進行閾值化處理，即將其中值小於最大元素值1/20的的元素置爲0。這就保證了其中所有元素之爲非負，且加強了模糊核的稀疏性。
jia[2].增加了濾波處理步驟。
shan[3]相對於前兩中方法 ，不對圖像進行任何濾波處理，直接使用l1 範數代替正則項。

mink∑qwq||k⨂pq−dq⨂g||22+β||k||1

清晰圖像估計
在清晰圖像估計階段，使用當前得到的k^ 來對模糊圖像執行去除模糊操作以更新當前的清晰圖像。[1]使用的去卷積模型爲：

minf∑qwq||k^⨂dq⨂f−dq⨂g||22+α||dx⨂f||22+α||dy⨂f||22

中爲正則項的權重，而此時的偏導數包括了零階導在內：dq∈{dx,dy,dxx,dxy,dyy} 觀察可知，在這個問題中，數據項中包括了圖像的高階導數，而正則項中則沒有，我們可以在頻域裏求得其標準解。
[2]選擇增加l2 正則項來促進清晰圖像的梯度接近於前次迭代中預測的稀疏導數圖

minf∑qwq||k^⨂dq⨂f−dq⨂g||22+α||dx⨂f−px||22+α||dy⨂f−py||22

由於本校型促使銳化邊緣出現在{pq} 中對應的位置,因而降低了由於使用l2 正則項而帶來的過平滑問題，同時本模型也同樣可以在頻域範圍內得到標準解。

利用噪聲模糊圖像盲去模糊
yuan[4]提出了一種新的盲去模糊方法，該方法使用了觀察的模糊圖像和同一場景中的一幅銳化但是包含噪聲的圖像。模糊圖像是在弱光照條件下長時間光的情況下出現的，而如果在此時給定一個高的設置而同時減少曝光時間則可以獲得同一場景的銳化但是包含噪聲的圖像。雖然得到的噪聲圖像可能退化的比較嚴重，以至於不能通過直接的去噪理得到一幅清晰的圖像，但是可以將其作爲清晰圖像的初始值來估計模糊核。除此之外，如果得到模糊核以後，同樣能夠利用噪聲圖像來指導最終的非盲去模糊操作，在此階段文中採用了一種改進R−L 的算法，並使用噪聲圖像fN 來抑制結果中的振鈴效應。

[1].Cho S, Lee S. Fast motion deblurring[C]//ACM Transactions on Graphics (TOG). ACM, 2009, 28(5): 145.
[2].Xu L, Jia J. Two-phase kernel estimation for robust motion deblurring[C]//European Conference on Computer Vision. Springer, Berlin, Heidelberg, 2010: 157-170.
[3].Shan Q, Jia J, Agarwala A. High-quality motion deblurring from a single image[C]//Acm transactions on graphics (tog). ACM, 2008, 27(3): 73.
[4].Yuan L, Sun J, Quan L, et al. Image deblurring with blurred/noisy image pairs[C]//ACM Transactions on Graphics (TOG). ACM, 2007, 26(3): 1.

本文節選自《單幅運動模糊圖像的盲去卷積》李新剛 本博客僅爲閱讀方便，權利歸原作者所有。