OpenCV成長之路:特徵點檢測與圖像匹配

特徵點又稱興趣點、關鍵點,它是在圖像中突出且具有代表意義的一些點,通過這些點我們可以用來識別圖像、進行圖像配準、進行3D重建等。本文主要介紹OpenCV中幾種定位與表示關鍵點的函數。

一、Harris角點

角點是圖像中最基本的一種關鍵點,它是由圖像中一些幾何結構的關節點構成,很多都是線條之間產生的交點。Harris角點是一類比較經典的角點類型,它的基本原理是計算圖像中每點與周圍點變化率的平均值。

image   (1)

\texttt{dst} (x,y) =  \mathrm{det} M^{(x,y)} - k  \cdot \left ( \mathrm{tr} M^{(x,y)} \right )^2  (2)

其中I(x+u,y+u)代表了點(x,y)鄰域點的灰度值。通過變換可以將上式變化爲一個協方差矩陣求特徵值的問題(2),具體數學原理本文不過多描述。

OpenCV的Hairrs角點檢測的函數爲cornerHairrs(),但是它的輸出是一幅浮點值圖像,浮點值越高,表明越可能是特徵角點,我們需要對圖像進行閾值化。我們使用一張建築圖像來顯示:

int main()
{
    Mat image=imread("../buliding.png");
    Mat gray;
    cvtColor(image,gray,CV_BGR2GRAY);
    Mat cornerStrength;
    cornerHarris(gray,cornerStrength,3,3,0.01);
    threshold(cornerStrength,cornerStrength,0.001,255,THRESH_BINARY);
    return 0;
}

imageimage

首先我們來說明一下cornerHairrs()這個函數參數的意思:

前2參數是輸入與輸出,輸入是一個灰度圖像,輸出是一個浮點圖像,第三個參數指定角點分析的鄰域,第4個參數實際上在角點求取過程中計算梯度圖像的核窗口大小,第5個參數是它原理公式(2)中的一個係數。

從上面的例子的結果我們可以看到,有很多角點都是粘連在一起的,我們下面通過加入非極大值抑制來進一步去除一些粘在一起的角點。

非極大值抑制原理是,在一個窗口內,如果有多個角點則用值最大的那個角點,其他的角點都刪除,窗口大小這裏我們用3*3,程序中通過圖像的膨脹運算來達到檢測極大值的目的,因爲默認參數的膨脹運算就是用窗口內的最大值替代當前的灰度值。程序的最後使用了一個畫角點的函數將角點顯示在圖像中,這個函數與本系列第5篇中畫角點的函數是一致的。

int main()
{
    Mat image=imread("../buliding.png");
    Mat gray;
    cvtColor(image,gray,CV_BGR2GRAY);
    Mat cornerStrength;
    cornerHarris(gray,cornerStrength,3,3,0.01);
    double maxStrength;
    double minStrength;
    // 找到圖像中的最大、最小值
    minMaxLoc(cornerStrength,&minStrength,&maxStrength);
    Mat dilated;
    Mat locaMax;
    // 膨脹圖像,最找出圖像中全部的局部最大值點
    dilate(cornerStrength,dilated,Mat());
    // compare是一個邏輯比較函數,返回兩幅圖像中對應點相同的二值圖像
    compare(cornerStrength,dilated,locaMax,CMP_EQ);
    Mat cornerMap;
    double qualityLevel=0.01;
    double th=qualityLevel*maxStrength; // 閾值計算
    threshold(cornerStrength,cornerMap,th,255,THRESH_BINARY);
    cornerMap.convertTo(cornerMap,CV_8U);
    // 逐點的位運算
    bitwise_and(cornerMap,locaMax,cornerMap);
    drawCornerOnImage(image,cornerMap);
    namedWindow("result");
    imshow("result",image);
    waitKey();
                      
    return 0;
}
void drawCornerOnImage(Mat& image,const Mat&binary)
{
    Mat_<uchar>::const_iterator it=binary.begin<uchar>();
    Mat_<uchar>::const_iterator itd=binary.end<uchar>();
    for(int i=0;it!=itd;it++,i++)
    {
        if(*it)
            circle(image,Point(i%image.cols,i/image.cols),3,Scalar(0,255,0),1);   
    }
}

現在我們得到的效果就比默認的函數得到的結果有相當的改善。

image

由於cornerHarris的一些缺點,OpenCV提供了另一個相似的函數GoodFeaturesToTrack()它用角點間的距離限制來防止角點粘連在一起。

goodFeaturesToTrack(image,corner,
                  500,    // 最多檢測到的角點數
                     0.01,    // 閾值係數
                     10);    // 角點間的最小距離

它可以得到與上面基本一致的結果。

二、FAST特徵點

harris特徵在算法複雜性上比較高,在大的複雜的目標識別或匹配應用上效率不能滿足要求,OpenCV提供了一個快速檢測角點的類FastFeatureDetector,而實際上FAST並不是快的意思,而是Features from Accelerated Segment Test,但這個算法效率確實比較高,下面我們來看看這個類的用法。

OpenCV裏爲角點檢測提供了統一的接口,通過類下面的detect方法來檢測對應的角點,而輸出格式都是vector<KeyPoint>。

vector<KeyPoint> keypoints;
    FastFeatureDetector fast( // 定義檢測類
        40); //40是檢測的閾值
    fast.detect(image,keypoints);
    drawKeypoints(image,keypoints,image,Scalar(255,0,0),
        DrawMatchesFlags::DRAW_OVER_OUTIMG);

其中drawKeypoints是OpenCV提供的在圖像上畫角點的函數。它的參數可以讓我們選擇用不同的方式標記出特徵點。

三、尺度不變的SURF特徵

surf特徵是類似於SIFT特徵的一種尺度不變的特徵點,它的優點在於比SIFT效率要高,在實際運算中可以達到實時性的要求,關於SURF的原理這裏就不過多的介紹,網絡上這類的文章很多。

類似於FAST特徵點的求法,SURF也可以使用通用接口求得,而SURF特徵的類爲SurfFeatureDetector,類似的SIFT特徵點的檢測類爲SiftFeatureDetector。

#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/nonfree/features2d.hpp>
using namespace cv;
int main()
{
    Mat image=imread("../buliding.png");
    vector<KeyPoint> keypoints;
          
    SurfFeatureDetector surf(2500.);
    surf.detect(image,keypoints);
    drawKeypoints(image,keypoints,image,Scalar(255,0,0),
        DrawMatchesFlags::DRAW_RICH_KEYPOINTS);
    namedWindow("result");
    imshow("result",image);
    waitKey();
          
    return 0;
}

這裏有一個值得說明的問題是:OpenCV2.4版本後好像把SurfFeatureDetector這個類的定義移到了頭文件nonfree/features2d.hpp

中,所以頭文件中要加入該文件,並且要把opencv_nonfree24xd.lib加入屬性表的鏈接器熟悉的輸入中,其中x換成你當前opencv的版本號。

最終的顯示效果如下:

image

四、SURF特徵的描述

在圖像配準中,特徵點的描述往往不是位置這麼簡單,而是使用了一個N維向量來描述一個特徵點,這些描述子之間可以通過定義距離公式來比較相近程度。

SurfDescriptorExtractor 是一個提取SURF特徵點以及其描述的類。

下面是一個寬景圖像的拼接配準的例子:

imageimage

#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/nonfree/features2d.hpp>
#include <opencv2/legacy/legacy.hpp>
using namespace cv;
int main()
{
    Mat image1=imread("../b1.png");
    Mat image2=imread("../b2.png");
    // 檢測surf特徵點
    vector<KeyPoint> keypoints1,keypoints2;    
    SurfFeatureDetector detector(400);
    detector.detect(image1, keypoints1);
    detector.detect(image2, keypoints2);
    // 描述surf特徵點
    SurfDescriptorExtractor surfDesc;
    Mat descriptros1,descriptros2;
    surfDesc.compute(image1,keypoints1,descriptros1);
    surfDesc.compute(image2,keypoints2,descriptros2);
    // 計算匹配點數
    BruteForceMatcher<L2<float>>matcher;
    vector<DMatch> matches;
    matcher.match(descriptros1,descriptros2,matches);
    std::nth_element(matches.begin(),matches.begin()+24,matches.end());
    matches.erase(matches.begin()+25,matches.end());
    // 畫出匹配圖
    Mat imageMatches;
    drawMatches(image1,keypoints1,image2,keypoints2,matches,
        imageMatches,Scalar(255,0,0));
    namedWindow("image2");
    imshow("image2",image2);
    waitKey();
      
    return 0;
}

程序中我們選擇了25個配準點,得到最後的匹配如下:

image


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章