Harris角點

1. 不同類型的角點

在現實世界中，角點對應於物體的拐角，道路的十字路口、丁字路口等。從圖像分析的角度來定義角點可以有以下兩種定義：

1. 角點可以是兩個邊緣的角點；
2. 角點是鄰域內具有兩個主方向的特徵點；

前者往往需要對圖像邊緣進行編碼，這在很大程度上依賴於圖像的分割與邊緣提取，具有相當大的難度和計算量，且一旦待檢測目標局部發生變化，很可能導致操作的失敗。早期主要有Rosenfeld和Freeman等人的方法，後期有CSS等方法。

基於圖像灰度的方法通過計算點的曲率及梯度來檢測角點，避免了第一類方法存在的缺陷，此類方法主要有Moravec算子、Forstner算子、Harris算子、SUSAN算子等。

這篇文章主要介紹的Harris角點檢測的算法原理，比較著名的角點檢測方法還有jianbo Shi和Carlo Tomasi提出的Shi-Tomasi算法，這個算法開始主要是爲了解決跟蹤問題，用來衡量兩幅圖像的相似度，我們也可以把它看爲Harris算法的改進。OpenCV中已經對它進行了實現，接口函數名爲GoodFeaturesToTrack()。另外還有一個著名的角點檢測算子即SUSAN算子，SUSAN是Smallest Univalue Segment Assimilating Nucleus（最小核值相似區）的縮寫。SUSAN使用一個圓形模板和一個圓的中心點，通過圓中心點像素與模板圓內其他像素值的比較，統計出與圓中心像素近似的像元數量，當這樣的像元數量小於某一個閾值時，就被認爲是要檢測的角點。我覺得可以把SUSAN算子看爲Harris算法的一個簡化。這個算法原理非常簡單，算法效率也高，所以在OpenCV中，它的接口函數名稱爲：FAST() 。

2. Harris角點

2.1 基本原理

人眼對角點的識別通常是在一個局部的小區域或小窗口完成的。如果在各個方向上移動這個特徵的小窗口，窗口內區域的灰度發生了較大的變化，那麼就認爲在窗口內遇到了角點。如果這個特定的窗口在圖像各個方向上移動時，窗口內圖像的灰度沒有發生變化，那麼窗口內就不存在角點；如果窗口在某一個方向移動時，窗口內圖像的灰度發生了較大的變化，而在另一些方向上沒有發生變化，那麼，窗口內的圖像可能就是一條直線的線段。

對於圖像I(x,y)I(x,y)，當在點(x,y)(x,y)處平移(Δx,Δy)(Δx,Δy)後的自相似性，可以通過自相關函數給出：

c(x,y;Δx,Δy)=∑(u,v)∈W(x,y)w(u,v)(I(u,v)–I(u+Δx,v+Δy))2c(x,y;Δx,Δy)=∑(u,v)∈W(x,y)w(u,v)(I(u,v)–I(u+Δx,v+Δy))2

其中，W(x,y)W(x,y)是以點(x,y)(x,y)爲中心的窗口，w(u,v)w(u,v)爲加權函數，它既可是常數，也可以是高斯加權函數。

根據泰勒展開，對圖像I(x,y)I(x,y)在平移(Δx,Δy)(Δx,Δy)後進行一階近似：

I(u+Δx,v+Δy)=I(u,v)+Ix(u,v)Δx+Iy(u,v)Δy+O(Δx2,Δy2)≈I(u,v)+Ix(u,v)Δx+Iy(u,v)ΔyI(u+Δx,v+Δy)=I(u,v)+Ix(u,v)Δx+Iy(u,v)Δy+O(Δx2,Δy2)≈I(u,v)+Ix(u,v)Δx+Iy(u,v)Δy

其中，Ix,IyIx,Iy是圖像I(x,y)I(x,y)的偏導數，這樣的話，自相關函數則可以簡化爲：

c(x,y;Δx,Δy)≈∑w(Ix(u,v)Δx+Iy(u,v)Δy)2=[Δx,Δy]M(x,y)[ΔxΔy]c(x,y;Δx,Δy)≈∑w(Ix(u,v)Δx+Iy(u,v)Δy)2=[Δx,Δy]M(x,y)[ΔxΔy]

其中

M(x,y)=∑w[Ix(x,y)2Ix(x,y)Iy(x,y)Ix(x,y)Iy(x,y)Iy(x,y)2]=[∑wIx(x,y)2∑wIx(x,y)Iy(x,y)∑wIx(x,y)Iy(x,y)∑wIy(x,y)2]=[ACCB]M(x,y)=∑w[Ix(x,y)2Ix(x,y)Iy(x,y)Ix(x,y)Iy(x,y)Iy(x,y)2]=[∑wIx(x,y)2∑wIx(x,y)Iy(x,y)∑wIx(x,y)Iy(x,y)∑wIy(x,y)2]=[ACCB]

也就是說圖像I(x,y)I(x,y)在點(x,y)(x,y)處平移(Δx,Δy)(Δx,Δy)後的自相關函數可以近似爲二項函數：

c(x,y;Δx,Δy)≈AΔx2+2CΔxΔy+BΔy2c(x,y;Δx,Δy)≈AΔx2+2CΔxΔy+BΔy2

其中

A=∑wI2x,B=∑wI2y,C=∑wIxIyA=∑wIx2,B=∑wIy2,C=∑wIxIy

二次項函數本質上就是一個橢圓函數。橢圓的扁率和尺寸是由M(x,y)M(x,y)的特徵值λ1、λ2λ1、λ2決定的，橢賀的方向是由M(x,y)M(x,y)的特徵矢量決定的，如下圖所示，橢圓方程爲：

[Δx,Δy]M(x,y)[ΔxΔy]=1[Δx,Δy]M(x,y)[ΔxΔy]=1

橢圓函數特徵值與圖像中的角點、直線（邊緣）和平面之間的關係如下圖所示。共可分爲三種情況：

• 圖像中的直線。一個特徵值大，另一個特徵值小，λ1≫λ2λ1≫λ2或λ2≫λ1λ2≫λ1。自相關函數值在某一方向上大，在其他方向上小。
• 圖像中的平面。兩個特徵值都小，且近似相等；自相關函數數值在各個方向上都小。
• 圖像中的角點。兩個特徵值都大，且近似相等，自相關函數在所有方向都增大。

根據二次項函數特徵值的計算公式，我們可以求M(x,y)M(x,y)矩陣的特徵值。但是Harris給出的角點差別方法並不需要計算具體的特徵值，而是計算一個角點響應值RR來判斷角點。RR的計算公式爲：

R=detM−α(traceM)2R=detM−α(traceM)2

式中，detMdetM爲矩陣M=[ABBC]M=[ABBC]的行列式；traceMtraceM爲矩陣MM的直跡；αα爲經常常數，取值範圍爲0.04~0.06。事實上，特徵是隱含在detMdetM和traceMtraceM中，因爲，

detM=λ1λ2=AC−B2detM=λ1λ2=AC−B2

traceM=λ2+λ2=A+CtraceM=λ2+λ2=A+C

2.2 Harris角點算法實現

根據上述討論，可以將Harris圖像角點檢測算法歸納如下，共分以下五步：

1. 計算圖像I(x,y)I(x,y)在XX和YY兩個方向的梯度Ix、IyIx、Iy。

Ix=∂I∂x=I⊗(−1 0 1)，Iy=∂I∂x=I⊗(−1 0 1)TIx=∂I∂x=I⊗(−1 0 1)，Iy=∂I∂x=I⊗(−1 0 1)T

2. 計算圖像兩個方向梯度的乘積。

I2x=Ix⋅Iy，I2y=Iy⋅Iy，Ixy=Ix⋅IyIx2=Ix⋅Iy，Iy2=Iy⋅Iy，Ixy=Ix⋅Iy

3. 使用高斯函數對I2x、I2y和IxyIx2、Iy2和Ixy進行高斯加權（取σ=1σ=1），生成矩陣MM的元素A、BA、B和CC。

A=g(I2x)=I2x⊗w，C=g(I2y)=I2y⊗w，B=g(Ix,y)=Ixy⊗wA=g(Ix2)=Ix2⊗w，C=g(Iy2)=Iy2⊗w，B=g(Ix,y)=Ixy⊗w

4. 計算每個像素的Harris響應值RR，並對小於某一閾值tt的RR置爲零。

R={R:detM−α(traceM)2<t}R={R:detM−α(traceM)2<t}

5. 在3×33×3或5×55×5的鄰域內進行非最大值抑制，局部最大值點即爲圖像中的角點。

Harris角點檢測的C++實現代碼：https://github.com/RonnyYoung/ImageFeatures/blob/master/source/harris.cpp

2.3 Harris角點的性質

1. 參數αα對角點檢測的影響

假設已經得到了矩陣MM的特徵值λ1≥λ2≥0λ1≥λ2≥0，令λ2=kλ1,0≤k≤1λ2=kλ1,0≤k≤1。由特徵值與矩陣MM的直跡和行列式的關係可得：

detM=∏iλi      traceM=∑iλidetM=∏iλi      traceM=∑iλi

從而可以得到角點的響應

R=λ2λ2=α(λ2+λ2)2=λ2(k−α(1+k)2)R=λ2λ2=α(λ2+λ2)2=λ2(k−α(1+k)2)

假設R≥0R≥0，則有：

0≤α≤k(1+k)2≤0.250≤α≤k(1+k)2≤0.25

對於較小的kk值，R≈λ2(k−α),α<kR≈λ2(k−α),α<k。

由此，可以得出這樣的結論：增大αα的值，將減小角點響應值RR，降低角點檢測的靈性，減少被檢測角點的數量；減小αα值，將增大角點響應值RR，增加角點檢測的靈敏性，增加被檢測角點的數量。

2. Harris角點檢測算子對亮度和對比度的變化不敏感

這是因爲在進行Harris角點檢測時，使用了微分算子對圖像進行微分運算，而微分運算對圖像密度的拉昇或收縮和對亮度的擡高或下降不敏感。換言之，對亮度和對比度的仿射變換並不改變Harris響應的極值點出現的位置，但是，由於閾值的選擇，可能會影響角點檢測的數量。

 

3. Harris角點檢測算子具有旋轉不變性

Harris角點檢測算子使用的是角點附近的區域灰度二階矩矩陣。而二階矩矩陣可以表示成一個橢圓，橢圓的長短軸正是二階矩矩陣特徵值平方根的倒數。當特徵橢圓轉動時，特徵值並不發生變化，所以判斷角點響應值RR也不發生變化，由此說明Harris角點檢測算子具有旋轉不變性。

4. Harris角點檢測算子不具有尺度不變性

如下圖所示，當右圖被縮小時，在檢測窗口尺寸不變的前提下，在窗口內所包含圖像的內容是完全不同的。左側的圖像可能被檢測爲邊緣或曲線，而右側的圖像則可能被檢測爲一個角點。

2.4 Harris的OpenCV接口

OpenCV的Hairrs角點檢測的函數爲cornerHairrs()，但是它的輸出是一幅浮點值圖像，浮點值越高，表明越可能是特徵角點，我們需要對圖像進行閾值化。

C++: void cornerHarris(InputArray src, OutputArray dst, int blockSize, int apertureSize, double k, int borderType = BORDER_DEFAULT);

• src – 輸入的單通道8-bit或浮點圖像。
• dst – 存儲着Harris角點響應的圖像矩陣，大小與輸入圖像大小相同，是一個浮點型矩陣。
• blockSize – 鄰域大小。
• apertureSize – 擴展的微分算子大。
• k – 響應公式中的，參數αα。
• boderType – 邊界處理的類型。

int main()
{
    Mat image = imread("../buliding.png");
    Mat gray;
    cvtColor(image, gray, CV_BGR2GRAY);

    Mat cornerStrength;
    cornerHarris(gray, cornerStrength, 3, 3, 0.01);
    threshold(cornerStrength, cornerStrength, 0.001, 255, THRESH_BINARY);
    return 0;
}

 

          

從上面上間一幅圖像我們可以看到，有很多角點都是粘連在一起的，我們下面通過加入非極大值抑制來進一步去除一些粘在一起的角點。

非極大值抑制原理是，在一個窗口內，如果有多個角點則用值最大的那個角點，其他的角點都刪除，窗口大小這裏我們用3*3，程序中通過圖像的膨脹運算來達到檢測極大值的目的，因爲默認參數的膨脹運算就是用窗口內的最大值替代當前的灰度值。

int main()
{
    Mat image = imread("buliding.png");
    Mat gray;
    cvtColor(image, gray, CV_BGR2GRAY);

    Mat cornerStrength;
    cornerHarris(gray, cornerStrength, 3, 3, 0.01);

    double maxStrength;
    double minStrength;
    // 找到圖像中的最大、最小值
    minMaxLoc(cornerStrength, &minStrength, &maxStrength);

    Mat dilated;
    Mat locaMax;
    // 膨脹圖像，最找出圖像中全部的局部最大值點
    dilate(cornerStrength, dilated, Mat());
    // compare是一個邏輯比較函數，返回兩幅圖像中對應點相同的二值圖像
    compare(cornerStrength, dilated, locaMax, CMP_EQ);

    Mat cornerMap;
    double qualityLevel = 0.01;
    double th = qualityLevel*maxStrength; // 閾值計算
    threshold(cornerStrength, cornerMap, th, 255, THRESH_BINARY);
    cornerMap.convertTo(cornerMap, CV_8U);
    // 逐點的位運算
    bitwise_and(cornerMap, locaMax, cornerMap);

    drawCornerOnImage(image, cornerMap);
    namedWindow("result");
    imshow("result", image);
    waitKey();

    return 0;
}
void drawCornerOnImage(Mat& image, const Mat&binary)
{
    Mat_<uchar>::const_iterator it = binary.begin<uchar>();
    Mat_<uchar>::const_iterator itd = binary.end<uchar>();
    for (int i = 0; it != itd; it++, i++)
    {
        if (*it)
            circle(image, Point(i%image.cols, i / image.cols), 3, Scalar(0, 255, 0), 1);
    }
}

現在我們得到的效果就比默認的函數得到的結果有相當的改善，如上面最右邊效果圖。

3. 多尺度Harris角點

3.1 多尺度Harris角點的原理

雖然Harris角點檢測算子具有部分圖像灰度變化的不變性和旋轉不變性，但它不具有尺度不變性。但是尺度不變性對圖像特徵來說至關重要。人們在使用肉眼識別物體時，不管物體遠近，尺寸的變化都能認識物體，這是因爲人的眼睛在辨識物體時具有較強的尺度不變性。在圖像特徵提取：尺度空間理論這篇文章裏就已經講到了高斯尺度空間的概念。下面將Harris角點檢測算子與高斯尺度空間表示相結合，使用Harris角點檢測算子具有尺度的不變性。

仿照Harris角點檢測中二階矩的表示方法，使用M=μ(x,σI,σD)M=μ(x,σI,σD)爲尺度自適應的二階矩：

M=μ(x,σI,σD)=σ2Dg(σI)⊗[L2x(x,σD)LxLy(x,σD)LxLy(x,σD)L2y(x,σD)]M=μ(x,σI,σD)=σD2g(σI)⊗[Lx2(x,σD)LxLy(x,σD)LxLy(x,σD)Ly2(x,σD)]

其中，g(σI)g(σI)表示尺度爲sigmaIsigmaI的高斯卷積核，xx表示圖像的位置。與高斯測度空間類似，使用L(x)L(x)表示經過高斯平滑後的圖像，符號⊗⊗表示卷積，Lx(x,σD)Lx(x,σD)和Ly(x,σD)Ly(x,σD)表示對圖像使用高斯g(σD)g(σD)函數進行平滑後，在xx或yy方向取其微分的結果，即Lx=∂xLLx=∂xL和Ly=∂yLLy=∂yL。通常將σIσI稱爲積分尺度，它是決定Harris角點當前尺度的變量，σDσD爲微分尺度或局部尺度，它是決定角點附近微分值變化的變量。顯然，積分尺度σIσI應該大於微分尺度σDσD。

3.2 多尺度Harris角點實現

首先，檢測算法從預先定義的一組尺度中進行積分尺度搜索，這一組尺度定義爲

σ1…σn=σ0…knσ0σ1…σn=σ0…knσ0

一般情況下使用k=1.4。爲了減少搜索的複雜性，對於微分尺度σDσD的選擇，我們採用在積分尺度的基礎上，乘以一個比例常數，即σD=sσIσD=sσI，一般取s=0.7。這樣，通常使用積分和微分的尺度，便可以生成μ(x,σI,σD)μ(x,σI,σD)，再利用Harris角點判斷準則，對角點進行搜索，具體可以分兩步進行。

1. 與Harris角點搜索類似，對於給定的尺度空間值σDσD，進行如下角點響應值計算和判斷：

cornerness=det(μ(x,σn)−αtrace2(μ(x,σn)))>thresholdHcornerness=det(μ(x,σn)−αtrace2(μ(x,σn)))>thresholdH

2. 對於滿足1中條件的點，在點的8鄰域內進行角點響應最大值搜索（即非最大值抑制）出在8鄰域內角點響應最大值的點。對於每個尺度σn(1,2,…,n)σn(1,2,…,n)都進行如上搜索。

由於位置空間的候選點並不一定在尺度空間上也能成爲候選點，所以，我們還要在尺度空間上進行搜索，找到該點的所謂特徵尺度值。搜索特徵尺度值也分兩步。

1. 對於位置空間搜索到的每個候選點，進行拉普拉斯響應計算，並滿足其絕對值大於給定的閾值條件：

F(x,σn)=σ2n|Lxx(x,σn)+Lyy(x,σn)|≥thresholdLF(x,σn)=σn2|Lxx(x,σn)+Lyy(x,σn)|≥thresholdL

2. 與鄰近的兩個尺度空間的拉普拉斯響應值進行比較，使其滿足：

F(x,σn)>F(x,σl),   l∈{n−1.n+1}F(x,σn)>F(x,σl),   l∈{n−1.n+1}

滿足上述條件的尺度值就是該點的特徵尺度值。這樣，我們就找到了在位置空間和尺度空間都滿足條件的Harris角點。

多尺度Harris角點檢測C++實現：https://github.com/RonnyYoung/ImageFeatures/blob/master/source/harrisLaplace.cpp

4. 更多的討論

在上面描述的Harris角點具有光照不變性、旋轉不變性、尺度不變性，但是嚴格意義上來說並不具備仿射不變性。Harris-Affine是一種新穎的檢測仿射不變特徵點的方法，可以處理明顯的仿射變換，包括大尺度變化和明顯的視角變化。Harris-Affine主要是依據了以下三個思路：

1. 特徵點周圍的二階矩的計算對區域進行的歸一化，具有仿射不變性；
2. 通過在尺度空間上歸一化微分的局部極大值求解來精化對應尺度；
3. 自適應仿射Harris檢測器能夠精確定位牲點；

這篇文章不對Harris-Affine作進一步的描述，有時間會對這一算法做專門的分析，有興趣的可以參考原論文：Scale & Affine Invariant Interest Point Detectors.

5. 參考資料

[1] 《圖像局部不變特徵與描述》王永明，王貴錦。

[2] Harris角點及Shi-Tomasi角點檢測

[3] 圖像特徵提取PPT

[4] Harris角點檢測算法 1

[5] OpenCV Harris角點檢測

[6] Opencv學習筆記（五）Harris角點檢測