ORB特徵點檢測

這篇文章我們將介紹一種新的具有局部不變性的特徵 —— ORB特徵，從它的名字中可以看出它是對FAST特徵點與BREIF特徵描述子的一種結合與改進，這個算法是由Ethan Rublee,Vincent Rabaud,Kurt Konolige以及Gary R.Bradski在2011年一篇名爲“ORB：An Efficient Alternative to SIFT or SURF”的文章中提出。就像文章題目所寫一樣，ORB是除了SIFT與SURF外一個很好的選擇，而且它有很高的效率，最重要的一點是它是免費的，SIFT與SURF都是有專利的，你如果在商業軟件中使用，需要購買許可。

如果你對FAST特徵點與BRIEF特徵描述子不瞭解，請先閱讀以下兩篇文章。本文不打算對它們作詳細的算法說明。

1. FAST特徵點檢測
2. BRIEF特徵描述子

1. ORB的算法原理

ORB特徵是將FAST特徵點的檢測方法與BRIEF特徵描述子結合起來，並在它們原來的基礎上做了改進與優化。

首先，它利用FAST特徵點檢測的方法來檢測特徵點，然後利用Harris角點的度量方法，從FAST特徵點從挑選出Harris角點響應值最大的NN個特徵點。其中Harris角點的響應函數定義爲：

R=detM−α(traceM)2R=detM−α(traceM)2

關於MM的含義和響應函數的由來可以參考Harris角點檢測這篇文章。

1.1 旋轉不變性

我們知道FAST特徵點是沒有尺度不變性的，所以我們可以通過構建高斯金字塔，然後在每一層金字塔圖像上檢測角點，來實現尺度不變性。那麼，對於局部不變性，我們還差一個問題沒有解決，就是FAST特徵點不具有方向，ORB的論文中提出了一種利用灰度質心法來解決這個問題，灰度質心法假設角點的灰度與質心之間存在一個偏移，這個向量可以用於表示一個方向。對於任意一個特徵點pp來說，我們定義pp的鄰域像素的矩爲：

mpq=∑x,yxpyqI(x,y)mpq=∑x,yxpyqI(x,y)

其中I(x,y)I(x,y)爲點(x,y)(x,y)處的灰度值。那麼我們可以得到圖像的質心爲：

C=(m10m00,m01m00)C=(m10m00,m01m00)

那麼特徵點與質心的夾角定義爲FAST特徵點的方向：

θ=arctan(m01,m10)θ=arctan(m01,m10)

爲了提高方法的旋轉不變性，需要確保xx和yy在半徑爲rr的圓形區域內，即x,y∈[−r,r]x,y∈[−r,r]，rr等於鄰域半徑。

1.2 特徵點的描述

ORB選擇了BRIEF作爲特徵描述方法，但是我們知道BRIEF是沒有旋轉不變性的，所以我們需要給BRIEF加上旋轉不變性，把這種方法稱爲“Steer BREIF”。對於任何一個特徵點來說，它的BRIEF描述子是一個長度爲nn的二值碼串，這個二值串是由特徵點周圍nn個點對（2n2n個點）生成的，現在我們將這2n2n個點(xi,yi),i=1,2,⋯,2n(xi,yi),i=1,2,⋯,2n組成一個矩陣SS

S=(x1y1x2y2⋯⋯x2ny2n)S=(x1x2⋯x2ny1y2⋯y2n)

Calonder建議爲每個塊的旋轉和投影集合分別計算BRIEF描述子，但代價昂貴。ORB中採用了一個更有效的方法：使用鄰域方向θθ和對應的旋轉矩陣RθRθ，構建SS的一個校正版本SθSθ

Sθ=RθSSθ=RθS

其中

Rθ=[cosθ–sinθsinθcosθ]Rθ=[cosθsinθ–sinθcosθ]

而θθ即我們在1.2中爲特徵點求得的主方向。

實際上，我們可以把角度離散化，即把360度分爲12份，每一份是30度，然後我們對這個12個角度分別求得一個SθSθ，這樣我們就創建了一個查找表，對於每一個θθ，我們只需查表即可快速得到它的點對的集合SθSθ。

1.3 解決描述子的區分性

BRIEF令人驚喜的特性之一是：對於nn維的二值串的每個比特徵位，所有特徵點在該位上的值都滿足一個均值接近於0.5，而方差很大的高斯分佈。方差越大，說明區分性越強，那麼不同特徵點的描述子就表現出來越大差異性，對匹配來說不容易誤配。但是當我們把BRIEF沿着特徵點的方向調整爲Steered BRIEF時，均值就漂移到一個更加分散式的模式。可以理解爲有方向性的角點關鍵點對二值串則展現了一個更加均衡的表現。而且論文中提到經過PCA對各個特徵向量進行分析，得知Steered BRIEF的方差很小，判別性小，各個成分之間相關性較大。

爲了減少Steered BRIEF方差的虧損，並減少二進制碼串之間的相關性，ORB使用了一種學習的方法來選擇一個較小的點對集合。方法如下：

首先建立一個大約300k關鍵點的測試集，這些關鍵點來自於PASCAL2006集中的圖像。

對於這300k個關鍵點中的每一個特徵點，考慮它的31×3131×31的鄰域，我們將在這個鄰域內找一些點對。不同於BRIEF中要先對這個Patch內的點做平滑，再用以Patch中心爲原點的高斯分佈選擇點對的方法。ORB爲了去除某些噪聲點的干擾，選擇了一個5×55×5大小的區域的平均灰度來代替原來一個單點的灰度，這裏5×55×5區域內圖像平均灰度的計算可以用積分圖的方法。我們知道31×3131×31的Patch裏共有N=(31−5+1)×(31−5+1)N=(31−5+1)×(31−5+1)個這種子窗口，那麼我們要NN個子窗口中選擇2個子窗口的話，共有C2NCN2種方法。所以，對於300k中的每一個特徵點，我們都可以從它的31×3131×31大小的鄰域中提取出一個很長的二進制串，長度爲M=C2NM=CN2，表示爲

binArray=[p1,p2,⋯,pM],pi∈{0,1}binArray=[p1,p2,⋯,pM],pi∈{0,1}

那麼當300k個關鍵點全部進行上面的提取之後，我們就得到了一個300k×M300k×M的矩陣，矩陣中的每個元素值爲0或1。

對該矩陣的每個列向量，也就是每個點對在300k個特徵點上的測試結果，計算其均值。把所有的列向量按均值進行重新排序。排好後，組成了一個向量TT，TT的每一個元素都是一個列向量。

進行貪婪搜索：從TT中把排在第一的那個列放到RR中，TT中就沒有這個點對了測試結果了。然後把TT中的排下一個的列與RR中的所有元素比較，計算它們的相關性，旭果相關超過了某一事先設定好的閾值，就扔了它，否則就把它放到RR裏面。重複上面的步驟，只到RR中有256個列向量爲止。如果把TT全找完也，也沒有找到256個，那麼，可以把相關的閾值調高一些，再重試一遍。

這樣，我們就得到了256個點對。上面這個過程我們稱它爲rBRIEF。

2. OpenCV中的ORB

ORB中有很多參數可以設置，在OpenCV中它可以通過ORB來創建一個ORB檢測器。

ORB::ORB(int nfeatures=500, float scaleFactor=1.2f, int nlevels=8, int edgeThreshold=31, int firstLevel=0, int WTA_K=2, int scoreType=ORB::HARRIS_SCORE, int patchSize=31)

下面介紹一下各個參數的含義：

nfeatures - 最多提取的特徵點的數量；

scaleFactor - 金字塔圖像之間的尺度參數，類似於SIFT中的kk；

nlevels – 高斯金字塔的層數；

edgeThreshold – 邊緣閾值，這個值主要是根據後面的patchSize來定的，靠近邊緣edgeThreshold以內的像素是不檢測特徵點的。

firstLevel - 看過SIFT都知道，我們可以指定第一層的索引值，這裏默認爲0。

WET_K - 用於產生BIREF描述子的 點對的個數，一般爲2個，也可以設置爲3個或4個，那麼這時候描述子之間的距離計算就不能用漢明距離了，而是應該用一個變種。OpenCV中，如果設置WET_K = 2，則選用點對就只有2個點，匹配的時候距離參數選擇NORM_HAMMING，如果WET_K設置爲3或4，則BIREF描述子會選擇3個或4個點，那麼後面匹配的時候應該選擇的距離參數爲NORM_HAMMING2。

scoreType - 用於對特徵點進行排序的算法，你可以選擇HARRIS_SCORE，也可以選擇FAST_SCORE，但是它也只是比前者快一點點而已。

patchSize – 用於計算BIREF描述子的特徵點鄰域大小。

#include <opencv2/core/core.hpp> 
#include <opencv2/highgui/highgui.hpp> 
#include <opencv2/imgproc/imgproc.hpp> 
#include <opencv2/features2d/features2d.hpp>

using namespace cv;

int main(int argc, char** argv) 
{ 
    Mat img_1 = imread("box.png"); 
    Mat img_2 = imread("box_in_scene.png");

    // -- Step 1: Detect the keypoints using STAR Detector 
    std::vector<KeyPoint> keypoints_1,keypoints_2; 
    ORB orb; 
    orb.detect(img_1, keypoints_1); 
    orb.detect(img_2, keypoints_2);

    // -- Stpe 2: Calculate descriptors (feature vectors) 
    Mat descriptors_1, descriptors_2; 
    orb.compute(img_1, keypoints_1, descriptors_1); 
    orb.compute(img_2, keypoints_2, descriptors_2);

    //-- Step 3: Matching descriptor vectors with a brute force matcher 
    BFMatcher matcher(NORM_HAMMING); 
    std::vector<DMatch> mathces; 
    matcher.match(descriptors_1, descriptors_2, mathces); 
    // -- dwaw matches 
    Mat img_mathes; 
    drawMatches(img_1, keypoints_1, img_2, keypoints_2, mathces, img_mathes); 
    // -- show 
    imshow("Mathces", img_mathes);

    waitKey(0); 
    return 0; 
}

3. 參考資料

[1] Ethan Rublee, Vincent Rabaud, Kurt Konolige, Gary R. Bradski: ORB: An efficient alternative to SIFT or SURF. ICCV 2011: 2564-2571.

[2] 看ORB特徵，一些理解和解釋

[3] OpenCV Tutorials

轉載自：http://www.cnblogs.com/ronny/p/4083537.html