CV理論基礎（三）：基於關鍵點的特徵描述子sift、surf、orb等；LBP、Gabor

基於關鍵點的特徵描述子

SIFT、SURF、ORB

局部特徵：SIFT

基於尺度空間不變的特徵描述
特點：具有良好的不變性、獨特性好信息量豐富、多量性、計算比之前的快

計算步驟：

（1）在DoG尺度空間中獲取極值點，即關鍵點：LoG尺度空間、DoG尺度空間
（2）對關鍵點處理：位置插值，獲得精確的關鍵點；去除邊緣點
（3）關鍵點的方向估計：找主方向爲達到旋轉不變性
（4）關鍵點描述子的生成：區域座標旋轉；計算採樣區域的直方圖

相關概念

尺度空間

使用不同$\sigma$的LOG對圖片進行濾波
使用LOG，則後續計算量極大，可以使用DOG代替LOG，用差分代替微分

高斯金字塔

高斯金字塔是在傳統金字塔的基礎上，對每層用不同的參數$\sigma$做高斯模糊，是的每一層金字塔有多張高斯模糊圖像

octave同一個尺度下參數不同的一組圖片，每層從下到上越來越模糊，下面一層的倒數第三張通過隔點降採樣得到上面一層最後一張。在小的上面找大特徵，大的上面找大特徵。

具體過程

（1）計算高斯差分DoG空間
不同octave乘$\sigma$,相同尺度的圖片用了不同的高斯核模糊後，相鄰相減

在同一組內，不同層圖像的尺寸是一樣的，後一層圖像的高斯平滑因子σ是前一層圖像平滑因子的k倍；
在不同組內，後一組第一個圖像是前一組倒數第三個圖像的二分之一採樣，圖像大小是前一組的一半；

（2）獲取DoG空間極值點
判斷極值點：以$X$爲檢測點，其周圍的點，同層的8個點+上層9個點+下層9個點，與監測點相比較都大/都小，則是極值點

DoG空間極值點是關鍵點
圓半徑$\to$特徵點尺度；圓心$\to$特徵點座標


（3）特徵點方向估計：
在尺度上計算梯度直方圖：以特徵點爲中心，以$3 \times 1.5\sigma$歸納到8個方向
獲取最高值方向爲關鍵點主方向
爲了匹配的穩定性，將超過最高值80%的方向，稱爲輔方向

爲了保證特徵矢量具有旋轉不變性，需要以特徵點爲中心，將特徵點附近鄰域內的圖像旋轉一個方向角$\theta$，即將原圖像x軸轉到與主方向相同的方向

（4）計算特徵點描述子
在旋轉後的座標上採樣$16\times16$的像素窗：$4\times4$網格，8方向直方圖，共128維
每一個點對應一個梯度，歸納到8個餅中，串在一起形成一個向量，即關鍵點基於它主方向的鄰近區域的特徵描述

缺點

計算太複雜，如果不借助硬件加速或專門的圖像處理器很難實現

SURF

SURF（Speeded-Up Robust Features）算子是Herbert Bay等人在2006年提出的，它是對SIFT的改進，可將速度提高3倍。

將SIFT一部分運算進行簡化：
（1）將SIFT中的高斯二階微分的模板Hessian矩陣進行簡化，使得卷積平滑操作僅需要轉換成加減運算
（2）在方向確定階段，在圓形區域計算x，y方向的haar小波響應，找到模最大的扇形方向

缺點：尺度不變性，旋轉不變性

具體過程

（1）找特徵點：對原圖進行變換，變換圖是原圖每個像素的Hessian矩陣行列式的近似值構成的。Hessian求取時先高斯平滑（去噪），再求二階導數。對於離散的像素點，用模板卷積形成的，使用Haar模板代替即可。
hessain矩陣和高斯平滑結合會形成1，2這樣柔和模糊的模板

（2）旋轉不變：統計特徵點領域內的Haar小波特徵。即以特徵點爲中心，計算半徑爲6s領域內，統計60度扇形內所有點在水平x和垂直y方向的Haar小波響應總和。然後60度扇形以一定間隔進行旋轉，最後將最大值那個扇形方向作爲該特徵點主方向。

其中，s是特徵點所有的尺度值

（3）計算：
在特徵點周圍取一個正方形框，框的邊長爲20s(s是所檢測到該特徵點所在的尺度)。該框帶方向，即檢測出來的主方向。

最終，SURF的特徵點特徵向量維度是64維。然後把該框分爲16個子區域，每個子區域統計25個像素的水平方向和垂直方向的harr小波特徵，這裏的水平和垂直方向都是相對主方向而言的。

特點

相關概念：Haar-like特徵

（1）Haar-like特徵分爲邊緣特徵、線性特徵、中心特徵和對角線特徵，這些特徵組合成特徵模板

特徵模板內有白色和黑色兩種矩形，並定義該模板的特徵值爲白色矩形像素和減去黑色矩形像素和

Haar特徵值反映了圖像的灰度變化情況

（2）快速計算：積分圖

同一個像素如果被包含在不同的Haar-like的特徵模板中，會被重複計算多次。積分圖是根據四個角點就能計算區域內的像素和的方法。

Hessian矩陣：兩階偏微分矩陣

ORB

ORB特徵基於FAST角點的特徵點檢測和BRIEF特徵描述技術，是對FAST角點與BRIEF描述子的一種結合與改進。快，一定程度上比sift準。

FAST角點檢測的缺點是：缺乏尺度不變性，可以通過構建高斯金字塔，然後在每一層金字塔圖像上檢測角點，來實現尺度不變性。
BRIEF缺點：缺乏旋轉不變性，需要給BRIEF加上旋轉不變性。

ORB對BRIEF的改進：
ORB在計算BRIEF描述子時的座標系是以關鍵點爲圓心，以關鍵點和取點區域的形心（圓形）的連線爲X軸建立座標系。
計算形心時，圓心區域上每個點的質量是其對應的像素值。

BRIEF

BRIEF需要先平滑圖像，然後在特徵點周圍選擇一個Patch，在這個Patch內通過一種選定的方法來挑選出來$n_d$個點對。
比較點對中兩點像素的大小，進行如下賦值：

所有$n_d$個點對，都進行比較，生成一個$n_d$長的二進制串。

點對生成的方式如下（共5種）：
（1）X和Y都服從在$[-\frac{{S}}{2},\frac{{S}}{2}]$範圍內的均勻分佈，且相互獨立
（2）X和Y都服從均值爲0，方差爲$\frac{{S^2}}{25}$的高斯分佈，且相互獨立，即X和Y都以原點爲中心，進行同方差的高斯分佈。高斯分佈中心點密，邊緣稀疏

其他特徵提取

LBP、Gabor

LBP

LBP 局部二值模式

具體過程：

（1）將每個像素點與周圍點大小進行比較：半徑爲R的圓上，均勻採樣P個點，大小量化爲0或1。多個bit組成一個數，統計每個數的直方圖。

（2）旋轉不變性：將LBP周圍的二進制碼按位旋轉，取二進制碼最小的值作爲最終的LBP值。

改進的LBP：

將$3 \times 3$鄰域擴展到任意鄰域，並用圓形鄰域代替了正方形鄰域，這種LBP特徵叫做Extended LBP，也叫Circular LBP

特點

LBP特徵具有灰度不變性和旋轉不變性

Gabor

Gabor：
Gabor是一個用於邊緣提取的線性濾波器，其頻率和方向表達與人類視覺系統類似，能夠提供良好的方向選擇和尺度選擇特性，對光照變化不敏感。適合紋理分析。

Gabor濾波器：
使用一個三角函數與一個高斯函數疊加得到Gabor濾波器。Gabor濾波器組類似人類視覺系統，多頻率/尺度，多方向。
頻域：屬於加窗傅里葉變換
空域：一個高斯核函數和正弦平面波的乘積

Gabor濾波器組：
3尺度，8方向

相關資源

LBP特徵原理

SIFT檢測

SURF檢測

Harris角點檢測

特徵匹配（有bug）