Harris角點檢測

特徵檢測中一般都會涉及角點、邊、斑點，而Harris是一種常用的角點檢測的方法。

角點是什麼呢？下面看一幅圖來理解：

上圖中標紅的點即角點，可以很清楚的看出，物體拐角處的點就是角點（字面上的理解）。

Harris角點檢測的思想：使用一個固定滑動窗口在圖像上的任意方向進行滑動，比較窗口中的像素灰度變化程度，如果在任意方向上都有較大灰度值變化，那麼可以認爲該窗口中存在角點。

上面的基本思想可能有點抽象，下面看一組圖輔助理解：

根據上圖來看：
（1）對於左圖，滑動窗口往任意方向滑動，都不會有較大的灰度值變化，因此滑動窗口對應的區域爲平坦區域；
（2）對於中圖，滑動窗口沿着邊線移動，無灰度變化；而其他方向可以有灰度變化，因此屬於邊緣部分；
（3）對於右圖，滑動窗口無論往哪個方向移動，對會帶來較大的灰度變化，因此滑窗對應的區域有角點。

下面是Harris角點檢測的數學原理：

1.灰度變化描述

當窗口發生[u,v]移動時，那麼滑動前與滑動後對應的窗口中的像素點灰度變化描述如下：

$E(u,v)=\sum_{x,y\in W}w(x,y)[I(x+u,y+v)-I(x,y)]^2$

其中 $[u,v]$ 是窗口 $W$ 的偏移量， $(x,y)$ 是窗口所對應的像素點位置， $I(x,y)$ 是對應位置的像素值， $w(x,y)$ 這裏一般選擇的是高斯
加權函數，即離中心點近的梯度貢獻更大，距離中心遠的點貢獻小。

通過上式可以看出，在平坦區域的灰度變化不大， $E(u,v)$ 很小；而在紋理豐富的區域， $E(u,v)$ 會比較大。

2. E(u,v)化簡

首先對原始的 $E(u,v)$ 進行泰勒展開（省略掉無窮小項），得到：

$E(u,v)=\sum_{x,y\in W}w(x,y)[I(x,y)+uI_{x}+vI_{y}-I(x,y)]^2$

$\quad\quad\quad=\sum_{x,y\in W}w(x,y)(u^2I_{x}^2+2uvI_{x}I_{y}+v^2I_{y}^2)$

$\quad\quad\quad=\sum_{x,y\in W}w(x,y)\left[\begin{matrix}u\\v\end{matrix}\right]\left[\begin{matrix}I_{x}^2&I_{x}I_{y}\\I_{x}I_{y}&I_{y}^2\end{matrix}\right]\left[\begin{matrix}u&v\end{matrix}\right]$

$\quad\quad\quad=\left[\begin{matrix}u\\v\end{matrix}\right]\left(\sum_{x,y\in W}w(x,y)\left[\begin{matrix}I_{x}^2&I_{x}I_{y}\\I_{x}I_{y}&I_{y}^2\end{matrix}\right]\right)\left[\begin{matrix}u&v\end{matrix}\right]$

因此， $E(u,v)$ 可以更新爲：

$\quad\quad\quad E(u,v)=\left[\begin{matrix}u\\v\end{matrix}\right]M\left[\begin{matrix}u&v\end{matrix}\right]$

其中 $\quad\quad\quad M=\sum_{x,y\in W}w(x,y)\left[\begin{matrix}I_{x}^2&I_{x}I_{y}\\I_{x}I_{y}&I_{y}^2\end{matrix}\right]$

$I_{x}$ 和 $I_{y}$ 是滑動窗口內的像素點 $(x,y)$ 在x和y方向上的梯度值。

3. 關鍵的矩陣M

Harris角點檢測並沒有直接使用 $E(u,v)$ 來確定角點。而是以x和y方向上的梯度爲座標着，對窗口內每個點的梯度進行統計分析。最終將M的特徵值轉化爲橢圓的兩個軸，更詳細的原理可以參考這篇博客： https://www.cnblogs.com/zyly/p/9508131.html

得到的結論如下圖：

對於矩陣M的特徵值 $\lambda_{1}和\lambda_{2}$ ：

（1）當 $\lambda_{1}和\lambda_{2}$ 都較小時，對應的區域爲平坦區域；

（2）當 $\lambda_{1}或\lambda_{2}$ 有一個較大，而另一個較小時，對應的區域存在邊緣；

（3）當 $\lambda_{1}和\lambda_{2}$ 都較大時，對應的區域存在角點。

4. 角點響應的度量

對於每一個滑動窗口計算一個得分R，如果R大於某一個閾值，那麼可以認爲該滑動窗口對應的區域內存在角點。

$R=det(M)-k(trace(M))^2$

其中：

$det(M)=\lambda_{1}\lambda_{2}$

$trace(M)=\lambda_{1}+\lambda_{2}$

其中 $\lambda_{1}和\lambda_{2}$ 是矩陣M的兩個特徵值，k是一個超參數，一般設置爲0.04-0.06比較好，其存在意義是調節函數的形狀。

對於R來說：

（1）當滑窗內存在角點是，R爲正數且不會太小；

（2）當滑窗內爲平坦區域，R是一個很小的值；

（3）當滑窗內存在邊緣，R值爲負。

因此可以設定一個合理的閾值，當R大於該閾值時，認爲滑窗內存在角點。