鄰域算子作用在給定像素周圍的像素上以計算輸出值，可以實現圖像濾波、圖像的平滑和銳化、圖像邊緣的增強和圖像噪聲的去除。鄰域算子有線性和非線性算子。線性算子是指用不同的權重結合一個小的鄰域內的像素，相當於覆蓋一個模板。非線性算子如形態學運算、距離變換。
線性濾波運算：
其中權重核或掩膜h(k,l)常稱爲“濾波係數”。上面算子可以簡記爲：
通常圖像濾波會存在邊界效應：會使角點處的像素變黑，主要是因爲當卷積核超出原始圖像邊界時，原始圖像邊界外的部分被認爲是有效的，並用0填塞。
爲了抵消這種效應，通常採用對圖像填塞或擴展的模式：
0填塞：將原圖像之外的值設置爲0（？？這樣不還是邊界效應嗎？）。
常數填塞（邊框彩色）：在原圖像之外的像素值設置爲確定的邊界值。
夾取填塞：不限定的複製邊緣像素的值。
重疊填塞：以環狀形態環繞圖像進行循環。
鏡像填塞：將像素圍繞圖像邊界進行鏡像反射。
通過一個具體例子可以清楚的看到，卷積運算，每個像素都需要K^2次操作，K時卷積核的大小。運算效率較低，通常採用如下計算方法來加速：先用一維行向量進行卷積，接着用一維列向量進行卷積，（每個像素需要運算次數爲 爲2K次操作）。那麼就要考慮儘量使用可分離的卷積核。
最簡單的線性濾波是移動平均或方框濾波器，它將KxK窗口中的像素值的平均值作爲輸出。
線性濾波算子長用在邊緣提取的預處理階段和興趣點檢測的算法中。
帶通濾波器和導向濾波器：
通常將一階或二階導數的濾波器稱爲帶通濾波器，因爲他可以同時濾出低頻和高頻。
導向濾波器，結論是現在可以構造具有越來越強的方向選擇性的方向導數濾波器，使得濾波器只在方向上具有很強的局部一致性的邊緣上有響應。導向濾波器常用來構造特徵的描述子和邊緣檢測器。