【openCV筆記1】模板匹配

參考資料：點擊打開鏈接

什麼是模板匹配?

模板匹配是一項在一幅圖像中尋找與另一幅模板圖像最匹配(相似)部分的技術.

它是怎麼實現的?

我們需要2幅圖像:
1. 原圖像 (I): 在這幅圖像裏,我們希望找到一塊和模板匹配的區域
2. 模板 (T): 將和原圖像比照的圖像塊
我們的目標是檢測最匹配的區域:
爲了確定匹配區域, 我們不得不滑動模板圖像和原圖像進行比較 :
通過滑動, 我們的意思是圖像塊一次移動一個像素 (從左往右,從上往下). 在每一個位置, 都進行一次度量計算來表明它是 “好” 或 “壞” 地與那個位置匹配 (或者說塊圖像和原圖像的特定區域有多麼相似).
對於 T 覆蓋在 I 上的每個位置,你把度量值保存到結果圖像矩陣 (R) 中. 在 R 中的每個位置 $(x,y)$ 都包含匹配度量值:

上圖就是 TM_CCORR_NORMED 方法處理後的結果圖像 R . 最白的位置代表最高的匹配. 正如您所見, 紅色橢圓框住的位置很可能是結果圖像矩陣中的最大數值, 所以這個區域 (以這個點爲頂點,長寬和模板圖像一樣大小的矩陣) 被認爲是匹配的.
實際上, 我們使用函數 minMaxLoc 來定位在矩陣 R 中的最大值點 (或者最小值, 根據函數輸入的匹配參數) .

OpenCV中支持哪些匹配算法?

問得好. OpenCV通過函數 matchTemplate 實現了模板匹配算法. 可用的方法有6個:

平方差匹配 method=CV_TM_SQDIFF

這類方法利用平方差來進行匹配,最好匹配爲0.匹配越差,匹配值越大.

$R(x,y)= \sum _{x',y'} (T(x',y')-I(x+x',y+y'))^2$

標準平方差匹配 method=CV_TM_SQDIFF_NORMED

$R(x,y)= \frac{\sum_{x',y'} (T(x',y')-I(x+x',y+y'))^2}{\sqrt{\sum_{x',y'}T(x',y')^2 \cdot \sum_{x',y'} I(x+x',y+y')^2}}$
相關匹配 method=CV_TM_CCORR

這類方法採用模板和圖像間的乘法操作,所以較大的數表示匹配程度較高,0標識最壞的匹配效果.

$R(x,y)= \sum _{x',y'} (T(x',y') \cdot I(x+x',y+y'))$

標準相關匹配 method=CV_TM_CCORR_NORMED

$R(x,y)= \frac{\sum_{x',y'} (T(x',y') \cdot I'(x+x',y+y'))}{\sqrt{\sum_{x',y'}T(x',y')^2 \cdot \sum_{x',y'} I(x+x',y+y')^2}}$
相關匹配 method=CV_TM_CCOEFF

這類方法將模版對其均值的相對值與圖像對其均值的相關值進行匹配,1表示完美匹配,-1表示糟糕的匹配,0表示沒有任何相關性(隨機序列).

$R(x,y)= \sum _{x',y'} (T'(x',y') \cdot I(x+x',y+y'))$

在這裏

$\begin{array}{l} T'(x',y')=T(x',y') - 1/(w \cdot h) \cdot \sum _{x'',y''} T(x'',y'') \\ I'(x+x',y+y')=I(x+x',y+y') - 1/(w \cdot h) \cdot \sum _{x'',y''} I(x+x'',y+y'') \end{array}$

標準相關匹配 method=CV_TM_CCOEFF_NORMED

$R(x,y)= \frac{ \sum_{x',y'} (T'(x',y') \cdot I'(x+x',y+y')) }{ \sqrt{\sum_{x',y'}T'(x',y')^2 \cdot \sum_{x',y'} I'(x+x',y+y')^2} }$

通常,隨着從簡單的測量(平方差)到更復雜的測量(相關係數),我們可獲得越來越準確的匹配(同時也意味着越來越大的計算代價). 最好的辦法是對所有這些設置多做一些測試實驗,以便爲自己的應用選擇同時兼顧速度和精度的最佳方案.

代碼

在這程序實現了什麼?
- 載入一幅輸入圖像和一幅模板圖像塊 (template)
- 通過使用函數 matchTemplate 實現之前所述的6種匹配方法的任一個. 用戶可以通過滑動條選取任何一種方法.
- 歸一化匹配後的輸出結果
- 定位最匹配的區域
- 用矩形標註最匹配的區域
下載代碼:單擊這裏
看一下代碼:

#include "opencv2/highgui/highgui.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include <iostream>
#include <stdio.h>

using namespace std;
using namespace cv;

/// 全局變量
Mat img; Mat templ; Mat result;
char* image_window = "Source Image";
char* result_window = "Result window";

int match_method;
int max_Trackbar = 5;

/// 函數聲明
void MatchingMethod( int, void* );

/** @主函數 */
int main( int argc, char** argv )
{
  /// 載入原圖像和模板塊
  img = imread( argv[1], 1 );
  templ = imread( argv[2], 1 );

  /// 創建窗口
  namedWindow( image_window, CV_WINDOW_AUTOSIZE );
  namedWindow( result_window, CV_WINDOW_AUTOSIZE );

  /// 創建滑動條
  char* trackbar_label = "Method: \n 0: SQDIFF \n 1: SQDIFF NORMED \n 2: TM CCORR \n 3: TM CCORR NORMED \n 4: TM COEFF \n 5: TM COEFF NORMED";
  createTrackbar( trackbar_label, image_window, &match_method, max_Trackbar, MatchingMethod );

  MatchingMethod( 0, 0 );

  waitKey(0);
  return 0;
}

/**
 * @函數 MatchingMethod
 * @簡單的滑動條回調函數
 */
void MatchingMethod( int, void* )
{
  /// 將被顯示的原圖像
  Mat img_display;
  img.copyTo( img_display );

  /// 創建輸出結果的矩陣
  int result_cols =  img.cols - templ.cols + 1;
  int result_rows = img.rows - templ.rows + 1;

  result.create( result_cols, result_rows, CV_32FC1 );

  /// 進行匹配和標準化
  matchTemplate( img, templ, result, match_method );
  normalize( result, result, 0, 1, NORM_MINMAX, -1, Mat() );

  /// 通過函數 minMaxLoc 定位最匹配的位置
  double minVal; double maxVal; Point minLoc; Point maxLoc;
  Point matchLoc;

  minMaxLoc( result, &minVal, &maxVal, &minLoc, &maxLoc, Mat() );

  /// 對於方法 SQDIFF 和 SQDIFF_NORMED, 越小的數值代表更高的匹配結果. 而對於其他方法, 數值越大匹配越好
  if( match_method  == CV_TM_SQDIFF || match_method == CV_TM_SQDIFF_NORMED )
    { matchLoc = minLoc; }
  else
    { matchLoc = maxLoc; }

  /// 讓我看看您的最終結果
  rectangle( img_display, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );
  rectangle( result, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );

  imshow( image_window, img_display );
  imshow( result_window, result );

  return;
}

代碼說明

定義一些全局變量, 例如原圖像(img), 模板圖像(templ) 和結果圖像(result) , 還有匹配方法以及窗口名稱:

Mat img; Mat templ; Mat result;
char* image_window = "Source Image";
char* result_window = "Result window";

int match_method;
int max_Trackbar = 5;

載入原圖像和匹配塊:

img = imread( argv[1], 1 );
templ = imread( argv[2], 1 );

創建窗口,顯示原圖像和結果圖像:

namedWindow( image_window, CV_WINDOW_AUTOSIZE );
namedWindow( result_window, CV_WINDOW_AUTOSIZE );

創建滑動條並輸入將被使用的匹配方法. 一旦滑動條發生改變,回調函數 MatchingMethod 就會被調用.

char* trackbar_label = "Method: \n 0: SQDIFF \n 1: SQDIFF NORMED \n 2: TM CCORR \n 3: TM CCORR NORMED \n 4: TM COEFF \n 5: TM COEFF NORMED";
createTrackbar( trackbar_label, image_window, &match_method, max_Trackbar, MatchingMethod );

一直等待,直到用戶退出這個程序.
```
waitKey(0);
return 0;
```
讓我們先看看回調函數. 首先, 它對原圖像進行了一份複製:
```
Mat img_display;
img.copyTo( img_display );
```

然後, 它創建了一幅用來存放匹配結果的輸出圖像矩陣. 仔細看看輸出矩陣的大小(它包含了所有可能的匹配位置)

int result_cols =  img.cols - templ.cols + 1;
int result_rows = img.rows - templ.rows + 1;

result.create( result_cols, result_rows, CV_32FC1 );

執行模板匹配操作:
```
matchTemplate( img, templ, result, match_method );
```
很自然地,參數是輸入圖像 I, 模板圖像 T, 結果圖像 R 還有匹配方法 (通過滑動條給出)

我們對結果進行歸一化:

normalize( result, result, 0, 1, NORM_MINMAX, -1, Mat() );

通過使用函數 minMaxLoc ,我們確定結果矩陣 R 的最大值和最小值的位置.
```
double minVal; double maxVal; Point minLoc; Point maxLoc;
Point matchLoc;

minMaxLoc( result, &minVal, &maxVal, &minLoc, &maxLoc, Mat() );
```
函數中的參數有:
- result: 匹配結果矩陣
- &minVal 和 &maxVal: 在矩陣 result 中存儲的最小值和最大值
- &minLoc 和 &maxLoc: 在結果矩陣中最小值和最大值的座標.
- Mat(): 可選的掩模
對於前二種方法 ( CV_SQDIFF 和 CV_SQDIFF_NORMED ) 最低的數值標識最好的匹配. 對於其他的, 越大的數值代表越好的匹配. 所以, 我們在matchLoc 中存放相符的變量值:
```
if( match_method  == CV_TM_SQDIFF || match_method == CV_TM_SQDIFF_NORMED )
  { matchLoc = minLoc; }
else
  { matchLoc = maxLoc; }
```

顯示原圖像和結果圖像. 再用矩形框標註最符合的區域:

rectangle( img_display, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );
rectangle( result, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );

imshow( image_window, img_display );
imshow( result_window, result );

結果

開始測試我們的程序,一幅輸入圖像:

還有一幅模版圖像:
產生了一下結果圖像矩陣 (第一行是標準的方法 SQDIFF, CCORR 和 CCOEFF, 第二行是相同的方法在進行標準化後的圖像). 在第1列, 最黑的部分代表最好的匹配, 對於其它2列, 越白的區域代表越好的匹配.
正確的匹配在下面顯示 (右側被矩形標註的人臉). 需要注意的是方法 CCORR 和 CCOEFF 給出了錯誤的匹配結果, 但是它們的歸一化版本給出了正確的結果, 這或許是由於我們實際上僅僅考慮 “最匹配” 而沒考慮其他可能的高匹配位置.