計算機視覺基礎-圖像處理（上）-Task04 圖像濾波
4.1 簡介
圖像的實質是一種二維信號，濾波是信號處理中的一個重要概念。在圖像處理中，濾波是一種非常常見的技術，它們的原理非常簡單，但是其思想卻十分值得借鑑，濾波是很多圖像算法的前置步驟或基礎，掌握圖像濾波對理解卷積神經網絡也有一定幫助。
4.2 學習目標
瞭解圖像濾波的分類和基本概念
理解均值濾波/方框濾波、高斯濾波的原理
掌握OpenCV框架下濾波API的使用
4.3 內容介紹
1、均值濾波/方框濾波、高斯濾波的原理
2、OpenCV代碼實踐
3、動手實踐並打卡（讀者完成）
4.4 算法理論介紹
4.4.1 均值濾波、方框濾波
1. 濾波分類
線性濾波： 對鄰域中的像素的計算爲線性運算時，如利用窗口函數進行平滑加權求和的運算，或者某種卷積運算，都可以稱爲線性濾波。常見的線性濾波有：均值濾波、高斯濾波、盒子濾波、拉普拉斯濾波等等，通常線性濾波器之間只是模版係數不同。
非線性濾波： 非線性濾波利用原始圖像跟模版之間的一種邏輯關係得到結果，如最值濾波器，中值濾波器。比較常用的有中值濾波器和雙邊濾波器。
2. 方框（盒子）濾波
方框濾波是一種非常有用的線性濾波，也叫盒子濾波，均值濾波就是盒子濾波歸一化的特殊情況。 應用： 可以說，一切需要求某個鄰域內像素之和的場合，都有方框濾波的用武之地，比如：均值濾波、引導濾波、計算Haar特徵等等。
優勢： 就一個字：**快！**它可以使複雜度爲O(MN)的求和，求方差等運算降低到O(1)或近似於O(1)的複雜度，也就是說與鄰域尺寸無關了，有點類似積分圖吧，但是比積分圖更快（與它的實現方式有關）。
在原理上，是採用一個卷積核與圖像進行卷積：
其中：
可見，歸一化了就是均值濾波；不歸一化則可以計算每個像素鄰域上的各種積分特性，方差、協方差，平方和等等。
3. 均值濾波
均值濾波的應用場合：
根據岡薩雷斯書中的描述，均值模糊可以模糊圖像以便得到感興趣物體的粗略描述，也就是說，去除圖像中的不相關細節，其中“不相關”是指與濾波器模板尺寸相比較小的像素區域，從而對圖像有一個整體的認知。即爲了對感興趣的物體得到一個大致的整體的描述而模糊一幅圖像，忽略細小的細節。
均值濾波的缺陷：
均值濾波本身存在着固有的缺陷，即它不能很好地保護圖像細節，在圖像去噪的同時也破壞了圖像的細節部分，從而使圖像變得模糊，不能很好地去除噪聲點。特別是椒鹽噪聲。
均值濾波是上述方框濾波的特殊情況，均值濾波方法是：對待處理的當前像素，選擇一個模板，該模板爲其鄰近的若干個像素組成，用模板的均值（方框濾波歸一化）來替代原像素的值。公式表示爲：
g(x,y)爲該鄰域的中心像素，n跟係數模版大小有關，一般3*3鄰域的模板，n取爲9，如：
當然，模板是可變的，一般取奇數，如5 * 5 , 7 * 7等等。
注：在實際處理過程中可對圖像邊界進行擴充，擴充爲0或擴充爲鄰近的像素值。
4.4.1 高斯濾波
應用：
高斯濾波是一種線性平滑濾波器，對於服從正態分佈的噪聲有很好的抑制作用。在實際場景中，我們通常會假定圖像包含的噪聲爲高斯白噪聲，所以在許多實際應用的預處理部分，都會採用高斯濾波抑制噪聲，如傳統車牌識別等。
高斯濾波和均值濾波一樣，都是利用一個掩膜和圖像進行卷積求解。不同之處在於：均值濾波器的模板係數都是相同的爲1，而高斯濾波器的模板係數，則隨着距離模板中心的增大而係數減小（服從二維高斯分佈）。所以，高斯濾波器相比於均值濾波器對圖像個模糊程度較小，更能夠保持圖像的整體細節。
二維高斯分佈 高斯分佈公式終於要出場了！
其中不必糾結於係數，因爲它只是一個常數！並不會影響互相之間的比例關係，並且最終都要進行歸一化，所以在實際計算時我們是忽略它而只計算後半部分:
其中(x,y)爲掩膜內任一點的座標，(ux,uy)爲掩膜內中心點的座標，在圖像處理中可認爲是整數；σ是標準差。
例如：要產生一個3×3的高斯濾波器模板，以模板的中心位置爲座標原點進行取樣。模板在各個位置的座標，如下所示（x軸水平向右，y軸豎直向下）。
這樣，將各個位置的座標帶入到高斯函數中，得到的值就是模板的係數。 對於窗口模板的大小爲 (2k+1)×(2k+1)，模板中各個元素值的計算公式如下：
這樣計算出來的模板有兩種形式：小數和整數。
小數形式的模板，就是直接計算得到的值，沒有經過任何的處理；
整數形式的，則需要進行歸一化處理，將模板左上角的值歸一化爲1，具體介紹請看這篇博文。使用整數的模板時，需要在模板的前面加一個係數，係數爲模板係數和的倒數。
生成高斯掩膜（小數形式）
知道了高斯分佈原理，實現起來也就不困難了。
首先我們要確定我們生產掩模的尺寸wsize，然後設定高斯分佈的標準差。生成的過程，我們首先根據模板的大小，找到模板的中心位置center。 然後就是遍歷，根據高斯分佈的函數，計算模板中每個係數的值。
最後模板的每個係數要除以所有係數的和。這樣就得到了小數形式的模板。
cpp /////////////////////////////// //x，y方向聯合實現獲取高斯模板 ////////////////////////////// void generateGaussMask(cv::Mat& Mask,cv::Size wsize, double sigma){ Mask.create(wsize,CV_64F); int h = wsize.height; int w = wsize.width; int center_h = (h - 1) / 2; int center_w = (w - 1) / 2; double sum = 0.0; double x, y; for (int i = 0; i < h; ++i){ y = pow(i - center_h, 2); for (int j = 0; j < w; ++j){ x = pow(j - center_w, 2); //因爲最後都要歸一化的，常數部分可以不計算，也減少了運算量 double g = exp(-(x + y) / (2 * sigma*sigma)); Mask.at(i, j) = g; sum += g; } } Mask = Mask / sum; } 3×3,σ=0.8的小數型模板：
σ的意義及選取
通過上述的實現過程，不難發現，高斯濾波器模板的生成最重要的參數就是高斯分佈的標準差σ。標準差代表着數據的離散程度，如果σ較小，那麼生成的模板的中心繫數較大，而周圍的係數較小，這樣對圖像的平滑效果就不是很明顯；反之，σ較大，則生成的模板的各個係數相差就不是很大，比較類似均值模板，對圖像的平滑效果比較明顯。
來看下一維高斯分佈的概率分佈密度圖：
我們有如下結論：
σ越小分佈越瘦高，σ越大分佈越矮胖。
σ越大，分佈越分散，各部分比重差別不大，於是生成的模板各元素值差別不大，類似於平均模板；
σ越小，分佈越集中，中間部分所佔比重遠遠高於其他部分，反映到高斯模板上就是中心元素值遠遠大於其他元素值，於是自然而然就相當於中間值得點運算。
4.5 基於OpenCV的實現
1、2D卷積（圖像過濾）
操作如下:保持這個內核在一個像素上，將所有低於這個內核的25個像素相加，取其平均值，然後用新的平均值替換中心像素。它將對圖像中的所有像素繼續此操作。試試這個代碼，並檢查結果:
import numpy as np
import cv2 as cv
from matplotlib import pyplot as plt
img = cv.imread('opencv_logo.png')
kernel = np.ones((5,5),np.float32)/25
dst = cv.filter2D(img,-1,kernel)
plt.subplot(121),plt.imshow(img),plt.title('Original')
plt.xticks([]), plt.yticks([])
plt.subplot(122),plt.imshow(dst),plt.title('Averaging')
plt.xticks([]), plt.yticks([])
plt.show()
結果如下：
2、圖像模糊
（1）平均
這是通過將圖像與歸一化框濾鏡進行卷積來完成的。它僅獲取內核區域下所有像素的平均值，並替換中心元素。這是通過功能cv.blur()或cv.boxFilter()完成的。
# 平均
import cv2 as cv
import numpy as np
from matplotlib import pyplot as plt
img = cv.imread('storm.png')
blur = cv.blur(img,(5,5))
plt.subplot(121),plt.imshow(img),plt.title('Original')
plt.xticks([]), plt.yticks([])
plt.subplot(122),plt.imshow(blur),plt.title('Blurred')
plt.xticks([]), plt.yticks([])
plt.show()
（2）高斯模糊
在這種情況下，代替盒式濾波器，使用了高斯核。這是通過功能cv.GaussianBlur() 完成的。我們應指定內核的寬度和高度，該寬度和高度應爲正數和奇數。我們還應指定X和Y方向的標準偏差，分別爲sigmaX和sigmaY。如果僅指定sigmaX，則將sigmaY與sigmaX相同。如果兩個都爲零，則根據內核大小進行計算。高斯模糊對於從圖像中去除高斯噪聲非常有效。
如果需要，可以使用函數cv.getGaussianKernel() 創建高斯內核。
可以修改以上代碼以實現高斯模糊：
blur = cv.GaussianBlur(img,(5,5),0)
（3）中位模糊
在這裏，函數cv.medianBlur() 提取內核區域下所有像素的中值，並將中心元素替換爲該中值。這對於消除圖像中的椒鹽噪聲非常有效。有趣的是，在上述過濾器中，中心元素是新計算的值，該值可以是圖像中的像素值或新值。但是在中值模糊中，中心元素總是被圖像中的某些像素值代替。有效降低噪音。其內核大小應爲正奇數整數。
在此演示中，我向原始圖像添加了50％的噪聲並應用了中值模糊。檢查結果：
median = cv.medianBlur(img,5)
4.雙邊濾波
cv.bilateralFilter() 在去除噪聲的同時保持邊緣清晰銳利非常有效。但是，與其他過濾器相比，該操作速度較慢。我們已經看到，高斯濾波器採用像素周圍的鄰域並找到其高斯加權平均值。高斯濾波器僅是空間的函數，也就是說，濾波時會考慮附近的像素。它不考慮像素是否具有幾乎相同的強度。它不考慮像素是否是邊緣像素。因此它也模糊了邊緣，這是我們不想做的。
雙邊濾波器在空間中也採用高斯濾波器，但是又有一個高斯濾波器，它是像素差的函數。空間的高斯函數確保僅考慮附近像素的模糊，而強度差的高斯函數確保僅考慮強度與中心像素相似的那些像素的模糊。由於邊緣的像素強度變化較大，因此可以保留邊緣。
以下示例顯示了使用雙邊過濾器：
blur = cv.bilateralFilter(img,9,75,75)
相關技術文檔、博客、教材、項目推薦
opencv文檔: https://docs.opencv.org/3.1.0/d4/d86/groupimgprocfilter.html#ga8c45db9afe636703801b0b2e440fce37
博客：
https://blog.csdn.net/weixin_40647819/article/details/89740234
https://blog.csdn.net/weixin_40647819/article/details/88774522
python版本：
https://www.kancloud.cn/aollo/aolloopencv/269599 http://www.woshicver.com/FifthSection/44%E5%9B%BE%E5%83%8F%E5%B9%B3%E6%BB%91/
4.6 總結
該部分對三種濾波方法進行了介紹，讀者可根據提供的資料對濾波原理進行學習，然後參考示例代碼自行實現。圖像濾波有很多優化方法，可以提高效率，讀者可以嘗試學習並實現。