圖像平滑濾波

Introduction

濾波是一個信號處理領域的概念。信息通過波的形式傳遞，濾波就是通過提取相應的頻率成分，從而獲取有用的信息。圖像濾波也是如此。根據提取頻率的成分不同，可以將濾波操作分爲低通濾波、帶通濾波和高通濾波。在圖像處理領域，圖像低通濾波，也就是圖像平滑濾波，是最重要的方向之一。許多與圖像相關的工作都需要使用圖像濾波做預處理，而圖像平滑濾波也廣泛應用於圖像去噪、圖像增強、圖像融合、立體視覺、HDR等各個領域。

圖像平滑濾波從實現方式上來講可以分爲基於局部信息的濾波和基於全局優化的濾波。基於局部信息的濾波方式由於實現簡單，速度一般較快，所以最常見到，如均值濾波、中值濾波、高斯濾波等等。由於這些濾波方式在平滑紋理和噪聲的同時往往也會平滑邊緣，所以後來一些保邊濾波方式，如雙邊濾波、導向濾波被提出。而基於全局優化的濾波一般來說都是保邊性濾波。下面主要按照這個分類介紹一下常見的濾波方式及其應用。

基於局部信息的濾波方式

均值濾波就是利用鄰域像素點的平均值代替當前點的像素值。均值濾波可以使用積分圖的方式進行加速，從而實現與濾波窗口大小無關的時間開銷。而這也是成爲對許多濾波器加速的基礎，如導向濾波、快速中值濾波都是使用積分圖來加速。均值濾波將鄰域像素看作是平等的賦予相同的權重，高斯濾波則是根據距離遠近依次權重遞減。所以高斯濾波往往比均值濾波得到效果更加保持強邊緣。中值濾波常用於濾除椒鹽噪聲，其利用鄰域像素點的中值代替當前點的像素值。中值濾波也有較好的保邊效果，也常用於立體視覺中視差圖的優化。一種快速實現中值濾波的方式就是通過均值濾波實現對局部鄰域的直方圖統計，從而快速計算局部鄰域中值。

上面提到高斯濾波通過距離當前像素點位置的遠近來對鄰域像素進行加權，而雙邊濾波則是在此基礎上繼續延伸，將鄰域像素值與當前像素值的差異也作爲權重，用兩種權重進行加權平均，所以雙邊濾波是一種保邊濾波器，在平滑小紋理和噪聲的同時能夠保持強邊緣。由於雙邊濾波不同位置的濾波核不同，只能逐點計算，因此速度往往比較慢。有許多方法被提出用於對雙邊濾波加速，其中一種方法便是使用雙邊空間。其將像素值作爲一個額外維度，使得權重的計算轉變成在第三維度上的卷積，從而加快運算速度。這個概念被作者進一步延伸，便有了後來的Bilateral Guided Upsample和Google的HDRnet，有興趣的可以參考這裏。但雙邊濾波可以保持邊緣但不能保持梯度，還會出現梯度翻轉現象。

導向濾波來自於Closed-Form Matting，其主要基於局部線性模型假設，即在一個局部鄰域中，輸入圖像$q$可以用引導圖$I$線性表出，即
$q_i=a_kI_i+b_k, \forall i \in \omega_k$

以此可以利用最小二乘法建立優化方程，並對係數引入正則項約束（嶺迴歸）：
$E(a_k,b_k)=\sum_{i\in \omega_k} (a_kI_i+b_k-q_i)^2+\epsilon a^2_k$

對該問題可以直接求解，得到$a_k$和$b_k$值與局部均值和局部協方差有關，因此可以使用快速均值濾波求解。導向濾波速度很快，而且也不會出現梯度翻轉現象，因此無論在學術界還是在工業界都被廣泛應用。但有時導向濾波得到的結果會在強邊緣附近出現光暈現象（halo artifact）。具體介紹可以參考作者的PPT，還是講的非常清楚的。另外，作者還提出了導向濾波的加速方式，基本的思想就是在低尺度上求解$a_k$和$b_k$，然後上採樣回去求解平滑圖像。

基於全局優化的濾波方式

這一類濾波都是通過建立全局優化方程，然後求解得到濾波結果。其與圖像復原任務十分相似且密切相關。一般來說，其優化方程可以表達爲：
$E(x) = f(x,y)+p(x)$

其由兩部分組成，一個是保真項$f(x,y)$，保持平滑後的圖像與原圖像結構相似；一個是先驗項$p(x)$，指導濾波後的圖像應該服從什麼分佈。通常保真項採用$L_2$範數，不同的濾波方式的主要區別在於先驗項的設計。圖像平滑濾波常用是局部平滑先驗，在梯度域對圖像進行約束。詳細可以參考這篇文章。常見到的如WLS filter，L1 filter， L0 filter，都是分別對梯度做$L_2$， $L_1$， $L_0$範數的約束。香港中文大學的Jiajia ya課題組在這個領域做的比較多，可以參考他的個人主頁。

總結

在不同的任務中，往往需求不同，這也造成了各種各樣的濾波方式的出現。圖像平滑濾波的方式有很多，其主要的研究方向在於如何實現更快的速度，如何在平滑紋理的同時更好地保持強邊緣和結構。