http://www.sigvc.org/bbs/thread-165-1-1.html
局部圖像特徵描述概述
樊彬
中國科學院自動化研究所 模式識別國家重點實驗室 (CASIA NLPR)
中國科學院自動化研究所 模式識別國家重點實驗室 (CASIA NLPR)
局部圖像特徵描述是計算機視覺的一個基本研究問題，在尋找圖像中的對應點以及物體特徵描述中有着重要的作用。它是許多方法的基礎，因此也是目前視覺研究中的一個熱點，每年在視覺領域的頂級會議ICCV/CVPR/ECCV上都有高質量的特徵描述論文發表。同時它也有着廣泛的應用，舉例來說，在利用多幅二維圖像進行三維重建、恢復場景三維結構的應用中，其基本出發點是要有一個可靠的圖像對應點集合，而自動地建立圖像之間點與點之間的可靠對應關係通常都依賴於一個優秀的局部圖像特徵描述子。又比如，在物體識別中，目前非常流行以及切實可行的方法之一是基於局部特徵的，由於特徵的局部性，使得物體識別可以處理遮擋、複雜背景等比較複雜的情況。
局部圖像特徵描述的核心問題是不變性（魯棒性）和可區分性。由於使用局部圖像特徵描述子的時候，通常是爲了魯棒地處理各種圖像變換的情況。因此，在構建/設計特徵描述子的時候，不變性問題就是首先需要考慮的問題。在寬基線匹配中，需要考慮特徵描述子對於視角變化的不變性、對尺度變化的不變性、對旋轉變化的不變性等；在形狀識別和物體檢索中，需要考慮特徵描述子對形狀的不變性。
然而，特徵描述子的可區分性的強弱往往和其不變性是矛盾的，也就是說，一個具有衆多不變性的特徵描述子，它區分局部圖像內容的能力就稍弱；而如果一個非常容易區分不同局部圖像內容的特徵描述子，它的魯棒性往往比較低。舉個例子，假定我們需要對一個點周圍固定大小的局部圖像內容進行描述。如果我們直接將圖像內容展開成一個列向量對其進行描述，那麼只要局部圖像內容發生了一點變化，就會使得它的特徵描述子發生較大的變化，因此這樣的特徵描述方式很容易區分不同的局部圖像內容，但是對於相同的局部圖像內容發生旋轉變化等情況，它同樣會產生很大的差異，即不變性弱。
而另一方面，如果我們通過統計局部圖像灰度直方圖來進行特徵描述，這種描述方式具有較強的不變性，對於局部圖像內容發生旋轉變化等情況比較魯棒，但是區分能力較弱，例如無法區分兩個灰度直方圖相同但內容不同的局部圖像塊。
綜上所述，一個優秀的特徵描述子不僅應該具有很強不變性，還應該具有很強的可區分性。
在諸多的局部圖像特徵描述子中，SIFT（Scale Invariant Feature Transform）是其中應用最廣的，它在1999年首次提出，至2004年得到完善。SIFT的提出也是局部圖像特徵描述子研究領域一項里程碑式的工作。由於SIFT對尺度、旋轉以及一定視角和光照變化等圖像變化都具有不變性，並且SIFT具有很強的可區分性，自它提出以來，很快在物體識別、寬基線圖像匹配、三維重建、圖像檢索中得到了應用，局部圖像特徵描述子在計算機視覺領域內也得到了更加廣泛的關注，涌現了一大批各具特色的局部圖像特徵描述子。
SURF（Speeded Up Robust Features）是對SIFT的改進版本，它利用Haar小波來近似SIFT方法中的梯度操作，同時利用積分圖技術進行快速計算，SURF的速度是SIFT的3-7倍，大部分情況下它和SIFT的性能相當，因此它在很多應用中得到了應用，尤其是對運行時間要求高的場合。
DAISY是面向稠密特徵提取的可快速計算的局部圖像特徵描述子，它本質思想和SIFT是一樣的：分塊統計梯度方向直方圖，不同的是，DAISY在分塊策略上進行了改進，利用高斯卷積來進行梯度方向直方圖的分塊匯聚，這樣利用高斯卷積的可快速計算性就可以快速稠密地進行特徵描述子的提取。比較巧合的是，DAISY這種特徵匯聚策略被一些研究者（Matthen Brown，Gang Hua，Simon Winder）通過機器學習的方法證明相對於其他幾種特徵匯聚策略（卡迪爾座標下分塊、極座標下分塊）是最優的。
ASIFT（Affine SIFT）通過模擬所有成像視角下得到的圖像進行特徵匹配，可以很好地處理視角變化的情況，尤其是大視角變化下的圖像匹配。
MROGH（Multi-support Region Order-based Gradient Histogram）則是特徵匯聚策略上尋求創新，之前的局部圖像特徵描述子，其特徵匯聚策略都是基於鄰域內點的幾何位置的，而MROGH基於點的灰度序進行特徵匯聚。
BRIEF（Binary Robust Independent Element Feature）利用局部圖像鄰域內隨機點對的灰度大小關係來建立局部圖像特徵描述子，得到的二值特徵描述子不僅匹配速度快，而且存儲要求內存低，因此手機應用中具有很好的應用前景。其實，利用鄰域內點對的灰度大小關係進行特徵描述這一思想在SMD（ECCV’08）中就已經有了。
除了BRIEF，近兩年還提出了許多二值特徵描述子，例如ORB、BRISK、FREAK。上述這些特徵描述子都是基於手動設計得到的，也有一些研究試圖利用機器學習的方法，通過數據驅動得到想要的特徵描述子。這類特徵描述子包括PCA-SIFT，Linear Discriminative Embedding，LDA-Hash等。當然，除了提到的這些特徵描述子之外，還有許多其他的特徵描述子，在這就不再一一敘述了。
國際上研究局部圖像特徵描述子比較著名的學者有：
英國Surrey大學的Mikolajzyk，他在INRIA做博後的時候，在寬基線應用背景下，對SIFT、Shape Context、PCA-SIFT、不變矩等多種局部圖像描述子的性能進行了評測，相關論文發表在2005年PAMI上，他提出來的評測方法至今仍是局部圖像描述子研究領域中廣泛採用的性能評測方法。
INRIA的C. Schmid，她九十年代就開始研究局部圖像描述方法了，是這個領域內的元老之一，不過這幾年她的團隊正在將重心轉向大規模圖像檢索和行爲識別等應用中。
比利時Leuven大學的Tinne Tuytelaars，她是著名的SURF描述子的提出者，SURF相關的論文於2011年獲得CVIU引用最多論文獎，她寫了三篇局部圖像特徵描述相關的綜述文章，分別是“Local Invariant Feature Detectors: A Survey”，“Local Image Features”和“Wide baseline matching”。
英國Oxford大學的Andrea Valida，他是Vlfeat的發起者和主要作者。Vlfeat是一個開源程序，其中包括了SIFT、MSER，被許多研究者廣泛採用。Vlfeat目前正在逐漸實現其他常用的特徵描述子。
瑞士EPFL的Vincent Lepetit和Pascal Fua，他們的團隊主要致力於發展快速、高效的局部圖像特徵描述子，用於模板匹配、三維重建、虛擬現實等應用。他們的工作包括用於稠密立體匹配的DAISY特徵描述子，基於Random Trees的模板匹配方法，基於Random Ferns的模板匹配方法。此外，LDA-Hash、BRIEF、D-BRIEF（ECCV 2012）也是他們的傑作。
中國科學院自動化研究所的吳福朝研究員，他在這方面也做了比較深入的研究，並提出了許多不錯的局部圖像特徵提取和描述方法。這些名字都是我們在讀論文的時候會經常看到的。
最近幾年局部圖像特徵描述子的發展趨勢是：快速、低存儲。這兩個趨勢使得局部圖像特徵描述子可以在快速實時、大規模應用中發揮作用，而且有利於將許多應用做到手機上去進行開發，實實在在的將計算機視覺技術應用於我們周圍的世界中。爲了滿足快速和低存儲這兩個需求，二值特徵描述子得到了研究者的廣泛關注，這兩年CVPR和ICCV中關於局部圖像特徵描述子的文章，大部分都是這類的。相信它們在未來幾年還會繼續受到關注，期待出現一些深入大衆生活中的成功應用。
