原文：Stefan Leutenegger, Margarita Chli et al.《BRISK: Binary Robust Invariant Scalable Keypoints》
BRISK
摘要：從一幅圖片中高效地尋找關鍵點始終是一個深入研究的話題，以此形成了衆多的計算機視覺應用的基礎。正在這個領域中。先驅算法SIFT和SURF在各種圖形轉換中表現出了巨大的性能。特別是SURF在日益更新的高性能方法中被覺得是計算最有效的方法。
本文提出的BRISK算法是用於關鍵點檢測。描寫敘述和匹配的一種新方法。在基準數據庫中隊BRISK的綜合評價爲：自適應和在大大降計算低成本下所表現的高質量的性能（這一些情況下。計算速度要比SURF快一個數量級）。速度的關鍵在於一種新的尺度空間的應用：基於FAST的檢測器結合組裝好的一位串描寫敘述子，該描寫敘述子從每一個關鍵點附近專門取樣的強度比較檢索得到的。
1.引言
將圖像分解爲本身感興趣區域或特徵區域是一種在計算機視覺中廣泛應用的技術。用來減少當尋找原圖像表面特徵的複雜度。
圖像表示﹑目標識別﹑匹配﹑三維場景重建以及運動跟蹤都依賴於圖像中穩定的具有代表性的特徵。這個問題促進了研究併產生了大量的方法。
理想的特徵點檢測器發現突出的圖像區域。這樣以來雖然其角度變化。它們也能夠反覆檢測特徵點；更一般的是對於全部可能的圖像轉換它都得是穩健的。
相同地。理想的關鍵點檢測器捕捉了最重要和獨特的信息內容，這些內容包括在檢測到的突出區域。這種話。假設遇到相同的結構區域也能夠被識別出來。此外，在滿足這些屬性來實現所需的關鍵點的質量，檢測器和描寫敘述子的速度相同須要優化來滿足手頭任務的時間約束。
在原則上。最先進的算法目標在於即應用於嚴格要求的實驗精度也應用於計算速度。Lowe’ 的SIFT 算法是一個眼下被廣泛接受的最高質量的選擇，對各種常見的圖像轉換具有有效的特殊性和不變性，然而，這種算法以計算代價爲成本。在還有一方面，FAST關鍵點檢測器和BRIEF方法的結合對描寫敘述子提供了更實時應用的選擇。然而雖然速度擁有明顯的優勢。但就可靠性和穩健性而言後一種方法更易接受，由於它具有最小的圖像扭曲和旋轉的承受度，尤其在平面旋轉和尺度變換上更明顯。
結果。像SLAM這種試試應用程序須要對數據關聯運用概率性的方法來找到匹配一致性。
從圖像中提取合適的特徵點的內在困難在於平衡兩個相互矛盾的目標：高質量的描寫敘述子和低計算需求。這就是這項工作的目的。即用BRISK方法建立一個新的里程碑。
或許最相關的任務是解決問題：SURF已經演示了穩健性和速度的實現，僅僅是。要得到的結果非常明顯。在花費更少的計算時間BRISK獲得了更可觀的匹配效果。簡而言之，本文對從圖像中得到特徵點提出了一個新的方法，得到的要點例如以下：尺度空間特徵點檢測：圖像和尺度維度都是通過使用一個顯著性的標準來識別感興趣特徵點。爲了提高計算效率。在圖像金字塔的octave層和層於層的中間檢測特徵點。通過在連續域擬合二次函數來獲得每個關鍵點的位置和尺度。關鍵點檢測：由點組成的樣本模式位於比例合適的同心圓上，在每個關鍵點的相鄰位置使用該圓來檢測灰度值：就地處理強度梯度。決定了特徵描寫敘述方向。最後。面向BRISK 的採樣模式用於獲得成對的亮度對照結果。將結果組合成二進制BRISK描寫敘述子。
BRISK關鍵點一旦生成因爲描寫敘述子的二進制本質特點就能夠很高效的匹配。強烈注意一下其計算速度，BRISK還利用存儲SSE指令在今天的架構中提供了廣泛的支持。
2.相關工作
在文獻中質量近期最好的特徵點提取方法是SIFT。高描寫敘述力和魯棒性來啓示和觀點改變使得評價SIFT描寫敘述子在調查中處於最高位置。然而。這樣的描寫敘述子使得SIFT的高維度提取速度很慢。PCA-SIFT 使得描寫敘述子從128維降到了36維。可是。影響其特殊性和添加描寫敘述子形成的時間差點兒使得添加匹配速度的性能毀於一旦。這裏值得注意的是，GLOH描寫敘述符也屬於類SIFT方法家族。也已經證明其具有獨特性可是比SIFT要付出很多其它昂貴的計算。
對特徵提出日益增長的高質量和快速度的需求已使得很多其它的算法研究可以以更高的速率處理大量的數據。
值得注意的是，Agrawal等人用中心對稱的局部二值化模式作爲還有一個SIFT方向直方圖的方法。近期的BRIEF算法是超快速描寫敘述符，匹配以及二進制串的組合設計的。包括了簡單的圖像增強在隨機預定的像素位置的比較。
雖然這樣的方法簡單而且有效，但其對圖像旋轉和尺度變換很敏感。以此限制了其通用功能的應用。
可能眼下最吸引人的特徵點提取方法是SURF，它已被證實比FAST 速度明顯快非常多。SURF特徵點檢測使用了Hessian矩陣（blob檢測器）的行列式，而其描寫敘述符是總結了Harris小波在感興趣區域的響應。SURF展示了令人深刻的最先進的計時，在速度方面，數量級仍然是遠遠不夠最快的。眼下這些限制了其提取特徵點的質量。
本文提出了一種新穎的算法稱爲BRISK，其具有高性能。高速的特徵點檢測和描寫敘述符以及高速匹配。意如其名，該方法在非常大程度上具有旋轉不變性和尺度不變性。實現了高性能和最先進的同一時候極大地減少了計算成本。以下的特徵描寫敘述子的方法是，眼下在基準數據庫運行的實驗結果和使用標準化的評價方法。即提出了關於SURF和FAST的BRISK評價。這被廣泛地接受爲在常見的圖像轉換領域內的比較準則。
3.BRISK
3.1 尺度空間的檢測
注重計算效率，特徵檢測方法是Mair等人對圖像感興趣區域檢測時的工作啓示。他們的AGAST本質上是如今流行的FATS算法性能的擴展，被證明是特徵提取的一個給出有效的基礎。實現尺度不變性的目標對高質量的關鍵點是至關重要的，爲了進一步得到極大值。不僅要在圖像平面上研究。並且在尺度空間使用FAST分數作爲精確地測量。雖然在粗軸上離散化尺度軸比選擇高性能檢測器更難，但BRIEF檢測器預計了在每個連續的尺度空間的每個特徵點的真實值。
在BRIEF的框架中。尺度空間金字塔的組成是n個octave層（用ci表示）和n個intra-octave層（用di表示），文章中n=4，i={0,1,…,n-1}。
如果有圖像img，octave層的產生：c0層就是img原圖像。c1層是c0層的2倍下採樣，c2層是c1層的2倍下採樣。以此類推。
intra-octave層的產生：d0層是img的1.5倍下採樣。d2層是d1層的2倍下採樣（即img的2*1.5倍下採樣），d3層是d2層的2倍下採樣，以此類推。則ci、di層與原圖像的尺度關係用t表示爲：，
這裏重要的是要注意FAST和AGAST都爲特徵點檢測的掩膜形狀提供了不同的選擇。在BRISK中，主要使用了9-16個掩膜，即在16像素的圓中至少須要9個連續的像素來提供足夠亮或暗的像素來實現，相比於FATS標準的中心像素的實現。
開始時，FAST 9-16 檢測器在每個octave層和octave層分別使用相同的閾值T來識別潛在的感興趣區域。接着。屬於這些感興趣區域的點在尺度空間上進行非極大值抑制（同SIFT算法 的非極大值抑制）：首先，問題是特徵點須要在每一層的FAST得分值s的8鄰域內實現最大值條件。分值S定義爲在一幅圖像的塊區域的點的最大閾值。其次。每一層及其上下層的得分值也要儘可能的低。檢查相同大小的正方形鄰域：在每一層中內部邊長爲2個像素的最可能是最大值。由於相鄰層（因此其FAST的得分）代表有不同的離散化。對其鄰域邊界進行一些插值。
圖1描寫敘述了這個過程採樣和極大值檢測的一個樣例。
尺度軸在octave c0層的最大值檢測是一個特例：爲了獲得FAST分數，由於c0層是最底層，故需虛擬有一個d-1層，在c0上使用FAST5-8。
然而，在這樣的情況下，d-1層patch的分數須要比檢測的octave c0的特徵點低。
考慮到圖像的特點作爲一個連續數字化不僅在圖像上也在尺度維度上，爲每個檢測到的最大值運行亞像素插值和持續的進行。爲了限制細化過程的複雜性，首先。滿足一個二維最小二乘意義上的二次函數使得每3個score-patches（獲得該層和上下兩層的關鍵點）得到3像素突出最大值。
爲了比較反覆採樣，考慮在每一層採用3x3的得分patch。接下來，這些突出的score用合適的一維曲線沿着尺度軸生成最後的得分預計和其最大值的尺度預計。最後一步，反覆對圖像座標在該層及鄰邊決定性尺度進行插值。
BRISK檢測在Boat序列的兩幅圖中是近距離的的一個樣例如圖2所看到的。
3.2 特徵點描寫敘述
給定一組特徵點（包括亞像素插值圖像位置和相關浮點型點的尺度值）。BRISK描寫敘述子是由二進制串通過間接簡單的亮度比較測試的結果組成。
這樣的觀點已證實是很有效的，然而在這裏使用很多其它的定性模式。在BRISK中，確定了每一個特徵點的特徵方向以便得到方向均衡化的描寫敘述子。因此，實現旋轉不變性是一般魯棒性的關鍵。同一時候，精心選擇了注重描寫敘述最大化的亮度比較。
3.2.1 採樣模式和旋轉預計
BRISK描寫敘述子關鍵的概念是利用採集關鍵點相鄰位置所使用的模式。該模式如圖3所看到的，以關鍵點爲中心，在其周圍採集N個特徵點的圓。定義多個相等局部圓形區域。這樣的模式類似於DAISY描寫敘述符，重要的是要注意到在BRISK中所使用的是全然不同的，DAISY專門爲密集匹配建立的，刻意地捕捉很多其它的信息，因此，要求速度和存儲需求。
爲了避免混疊效果。對在模式中的採樣點Pi應用了高斯平滑。標準差δi正比於每一個採樣點相應於各自中心的距離，定位和擴展模式在圖像中相應地爲關鍵點k模式化，考慮一個N(N-1)/2個採樣點對。用集合（Pi。Pj）表示。
這些點的平滑像素值分別爲I (Pi , σi ) 和I (Pj , σj )，用於預計局部梯度值g(Pi , Pj ) 的公式爲：
全部組合方式的集合稱作採樣點對，用集合表示爲：
定義短距離點對子集S、長距離點對子集L（L個）爲：
當中，閾值距離設置爲：δmax=9.57t。δmin=13.67t。t是特徵點k所在的尺度。
如今要利用上面得到的信息，來計算特徵點k的主方向（注意：此處僅僅用到了長距離點對子集）。例如以下：
長距離的點對都參與了運算，基於本地梯度互相抵消的假說，所以全局梯度的計算是不必要的。這一點同一時候也被距離變量閾值δmin 的實驗確認了。
3.2.2 創建描寫敘述子
對於旋轉和尺度歸一化的描寫敘述子的建立，BRISK使用了關鍵點k周圍的抽樣點旋轉α = ARCTAN2 (gy , gx )角度作爲模式。和BRIEF類似。BIRSK的描寫敘述子也是一個包括512個比特位的向量，每一個描寫敘述子由短距離點對(Pαi , Pαj ) ∈ S兩兩進行比較產生的，上標alpha表示旋轉的模式。這種每一位b相應於：
與BRIEF不同的地方是，BRIEF僅僅是進行亮度比較，除了預設尺度和預先對樣本模式的旋轉之外，BRISK和BRIEF有着根本的差別:一.BRISK使用固定的樣本模式點。並且是以R爲半徑環繞關鍵點周圍的圓進行均勻取樣。
因此特定的高斯核平滑不會突然地扭曲亮度內容的信息(模糊鄰近的兩個採樣點的亮度,從而保證亮度平滑過渡)二.與兩兩組成的點對照BRISK顯著的降低了採樣點的數量(比如，單個的樣本點參與了很多其它的比較)，限制了亮度查找表的複雜度三.這裏的比較是受到空間的限制的，所以亮度的改變僅僅僅僅是須要局部一致性就能夠了。
對於上面的採樣模式和距離閾值，獲得了一個長度爲512個比特位串。BIRSK64的描寫敘述子也是一個包括512個比特位的向量，因此爲一對描寫敘述子匹配將以相同的速度進行定義。
3.3 描寫敘述符匹配
匹配兩個BRISK描寫敘述符是簡單的計算他們在BRIEF中漢明距離：比特位數量是不同的兩個描寫敘述符它們的衡量是不同的。注意他們各自通過位計數來降低按位操作的運算操作。在今天的架構中它們都能夠很有效地計算。
3.4 實現說明
這裏。對一些方法實現的問題給出了一個簡短的概述，這些問題對總體的計算性能和該方法的重現性具有顯著的貢獻。全部基於OpenCV的常見的二維特徵點界面的BRISK功能都能夠用存在的特徵點提取算法(SIFT,SURF, BRIEF, 等等）簡單的整合和互換。
爲計算顯著性得分檢測過程使用了AGAST算法實現。非最大值抑制受益於早期的終止能力，以此限制了顯著得分計算到最小值。建立圖像金字塔使用了一些SSE2和SSE3指令，這兩個指令都是關於半抽樣以及下抽樣的1.5倍。
爲了有效地用採樣模式檢索灰度值，生成了一個離散旋轉的和已尺度化的BRISK模式版本號的查找表，包含取樣點的位置和高斯平滑內核的屬性以及長短距離配對的索引，這些消耗了大約40MB的RAM內存，全部這些仍然可接受受限的計算能力低的應用。另外,在一個簡化的高斯內核版本號使用積分圖像，使用的激勵該內核爲：在沒有不論什麼添加計算複雜度的情況下改變σ時內核是可伸縮變換的。在最後的實現中，在浮點邊界和邊長爲ρ = 2.6 · σ使用了一個簡單的平方均值濾波器誤差預計。因此，不須要在整幅圖片中使用很多不同內核的高斯平滑來浪費時間，而是使用一個隨意的參數σ檢索單個值。本文還整合改進了SSE漢明距離的測量來實現眼下OpenCV六倍的速度來實現匹配，比如帶有BRIEF的OpenCV版本號。
4 實驗
本文提出的方法在廣泛地測試後，如今在首先由 Mikolajczyk 和 Schmid提出的領域中建立了評價方法和數據庫。爲了在其它的工作提出一致性的結果，本文也使用了在線的MATLAB評價版本號。每個數據庫包括了一個六個圖像的序列，變現出越來越多的轉換數量。這裏全部的比較都在每個數據庫上對照第一張圖片實現的。圖4顯示了一幅分析每個數據集的圖片。
這個變換包括了角度改變（Graffiti 和 Wall），縮放和旋轉（Boat），濾波（Bikes and Trees），亮度變化（Leuven）。以及JPEG壓縮（Ubc）。由於角度變化場景是平面的，相比於OpenCV2.2版本號的SIFT和OpenCV初版的SURF。在全部序列的圖像對上提供了一個地面真實的單一性矩陣用於BRISK的檢測和描寫敘述器的展示。
評估使用了相似性匹配，該匹配覺得每對特徵點的描寫敘述子距離都低於某個閾值匹配。比如相比於近期鄰匹配。用最低的描寫敘述子距離來尋找數據庫的位置。
最後，展示了BRISK在屬比較計時的計算速度方面的一大優勢。
4.1 BRISK檢測反覆性
檢測反覆性定義爲，在兩幅圖中計算對應的關鍵點和最小關鍵點的數量。
對應標誌是通過查看一幅圖中關鍵點區域的重疊區域（即提取圓）和從其它圖形中得到的關鍵點區域的投影：假設相交的區域大於共同區域的50%，就被覺得是一個對應標誌。用這樣的方法標記在非常大程度上依賴於關鍵點圓形區域的工作，即尺度和半徑之間的常數因子。
像這樣選擇用BRISK檢測器獲得的平均半徑和SURF和SIFT獲得的平均半徑大致匹配。
反覆性評價得分（選擇的結果如圖5所看到的）在一個序列中實施使用連續的BRISK檢測閾值。爲了達到與SURF檢測器相當的比較，選擇使用了各自的Hessian閾值在相似的主要的匹配步驟下使其大概輸出一樣的對應標誌數量。
如圖5所看到的，BRISK檢測器展示了和SURF一樣的反覆性僅僅要應用的圖像轉換不是非常大。然而鑑於在計算速度上BRISK比SURF更具有明顯的優勢，本文提出的BRISK方法成爲了強有力的競爭對手，即使在大尺度變換上似乎也稍遜一籌。
4.2 整體評價和比較BRISK算法
由於任務的目的在於提供一個整體及速度快有具有健壯性的檢測器。描寫敘述子和匹配，所以評估了BRISK中相比於SIFT和SURF的全部步驟的共同表現。圖6 顯示了在選擇不同數據集的圖像對，準確性-記憶曲線使用基於閾值的相似匹配。對這個評估又適應於檢測閾值，以此輸出一個在公平的意識下對應標誌大致相等的數量。注意這裏的評價結果與[3]中的不同，那裏全部的描寫敘述子都是在同樣的區域中提取的（用Fast-Hessian獲得的）。
如圖6 所看到的。BRISK在全部數據集上比SIFT和SURF更有競爭優勢。甚至在一些情況下遠遠勝過其它兩個。
BRISK在樹的數據集上的減少性能是因爲檢測器的性能：當SURF檢測到2606和2624圖像區域時，BRISK在圖像4中僅僅檢測到2004個圖像區域，相比於在圖片1中找到5949個圖像區域，實現了對應標誌的大致相等的數量。這個方案相同適用於其它的濾波數據集，Bikes：FAST的突出本質上比其它的類blob檢測子更敏感。
因此，顯示了從SURF區域中爲樹的數據集提取BRISK描寫敘述子的評價。
圖6顯然，SIFT在圖Trees, Boat, 和Ubc datasets中的性能明顯惡化。這能夠解釋在這些情況下檢測器反覆性受限的原因。還有一方面。SIFT和BRISK處理純平面旋轉的重要情況非常好，比SURF更好。
爲了完畢實驗的這個部分。聯繫到了BRIEF算法。圖7 顯示了不具有旋轉的單尺度的BRISK版本號（SU-BRISK）和64字節的BRIEF特徵點在同樣的（單尺度）AGAST特徵點上的比較。還包含了旋轉不變性，單尺度的BRISK（S-BRISK）以及標準的BRISK。實驗用兩幅圖像對進行：一方面使用了前兩幅圖片。在圖Wall數據集中證明SU-BRISK和BRIEF64在沒有單尺度和平面旋轉的情況下都表現出非常相似的性能。注意到。BRIEF算法設計的真實條件。
還有一方面，應用不同的版本號到圖Boat序列的前兩幅圖片：本次試驗顯示了一些就小規模旋轉和尺度變化的魯棒性而言SU-BRISK比BRIEF更讓你更具有優勢。此外。衆所周知的和明顯代價的旋轉和尺度不變性是非常easy觀察到的。
4.3 時間安排
時間控制已經記錄在配備四核i7 2.67 GHz處理器（儘管僅僅用了一個核）執行Ubuntu 10.04 (32位）的筆記本電腦中，使用了上面具體的實現和設置過程。表1 給出了有關在圖Graffit序列的第一幅圖片的檢測結果。而表2 顯示了匹配時間。
執行平均值超過了100次。
注意到。全部的匹配器在沒有不論什麼提前終止優化的前提下都做了暴力描寫敘述符距離計算。
計時顯示了BRISK的一個明顯的優勢，它的檢測盒描寫敘述子的計算通常比SURF的速度快一個數量級，這被覺得眼下存在的最快的具有旋轉不變性和尺度不變性的特徵點匹配。
相同重要的是。要強調BRISK能夠easy更快地運行尺度化，通過在以匹配質量爲代價的模式下降低採樣點的數量。這是一個特定的應用下可能承擔得起。
此外。尺度或旋轉不變性能夠省略，在不須要的應用上添加速度和匹配質量。
4.4 樣例
對以上的提出補充廣泛的評價，也提供了一個使用BRISK作爲匹配的真實樣例。圖8顯示了一幅圖像對展現了各種變換。一個閾值爲90的相似性匹配在沒有明顯的異常值得情況下得到的魯棒性匹配（超過512對特徵點）。
圖75 結論
本文提出了一種新穎的方法稱之爲BRISK，攻克了經典的計算機視覺的檢測問題，在現場和照相位置沒有足夠的先驗知識下描寫敘述和匹配圖像關鍵點。
相比之下。與已建立且證明具有高性能的算法如SIFT和SURF相比。本文的方法實在地提供了一個戲劇性更快的按可比的匹配性能的選擇，基於一個廣泛評價的一份聲明中使用既定的框架。
BRISK依賴一個簡單地可配置的圓形的採樣模式，模式從它形成一個二進制描寫敘述符字符串計算亮度的對照。BRISK的獨特特性可用於廣泛的應用，特別是對硬實時約束或有限的計算能力。
最後，BRISK在費時的應用中提供了高端的特徵點質量。
在對BRISK進一步研究的道路上，目標是探索能替代尺度空間最大值收索突出得分到生成更好高的可反覆性，同一時候保持速度。此外，目標在於分析理論和實驗上的BRISK模式和配置的比較，這種描寫敘述子的信息內容或魯棒性是最大化的。