單應矩陣學習筆記

單應矩陣是視覺SLAM當中一個很重要的概念，它用於描述處於共同平面上的一些特徵點在兩張圖像之間的變換關係。舉個現實例子，我們去商店買東西，結賬的時候櫃檯前的微信/支付寶收款二維碼就相當於處於同一個平面上的特徵點組成的平面，而張三打開手機端攝像機拍到的圖片和李四手機拍攝到的二維碼的圖片之間的轉換關係就可以用單應矩陣來描述。而且，兩個人站在不同的角度用手機掃一掃二維碼後，在手機端出現的二維碼竟然是方方正正的二維碼（和櫃檯前的是一樣的），這也和單應矩陣變換有關係。

下面這張圖片非常生動的展示了單應矩陣是怎麼描述處於同一平面當中的特徵點在兩個圖像當中的變換關係的，我們可以仔細體會一下。

這兩天研究了下單應矩陣相關內容，本來想寫篇筆記記錄一下的，當看到下面這篇通俗易懂的單應矩陣的文章後，決定轉過來：

從零開始一起學習SLAM | 神奇的單應矩陣

單應矩陣的計算在opencv當中提供了調用函數findHomography來幫我們進行計算。

opencv當中計算單應矩陣的公式和描述，和視覺SLAM十四講當中的描述是一致的，只不過十四講當中將計算公式進一步整理了。

 

下面記錄一下單應矩陣實現的虛擬廣告牌案例，這個也是筆者上邊學習的博文當中的作業題。通過這個案例，我們可以感受一下單應矩陣的物理意義。

原始的廣告牌圖像如下：

用於替換的圖像如下：

替換後的結果如下：

代碼實現如下：

#include <opencv2/opencv.hpp>

using namespace cv;
using namespace std;

struct userdata{
    Mat im;
    vector<Point2f> points;
};

void mouseHandler(int event, int x, int y, int flags, void* data_ptr)
{
    //判斷時間類型是不是左側鼠標按下
    if( event == EVENT_LBUTTONDOWN )
    {
        userdata *data = ((userdata *) data_ptr);
        //畫點
        circle(data->im, Point(x,y),3,Scalar(0,255,255), 5, CV_AA);
        imshow("Image", data->im);
        //如果點數少於4個的時候就將新的點座標存入
        if (data->points.size() < 4)
        {
            data->points.push_back(Point2f(x,y));
        }
    }
}

int main( int argc, char** argv)
{
    // Read in the image.
    Mat im_src = imread("cvlife.png");
    Size size = im_src.size();

    //獲取圖像四周的四個頂點座標.
    vector<Point2f> pts_src;
    pts_src.push_back(Point2f(0,0));
    pts_src.push_back(Point2f(size.width - 1, 0));
    pts_src.push_back(Point2f(size.width - 1, size.height -1));
    pts_src.push_back(Point2f(0, size.height - 1 ));

    // Destination image
    Mat im_dst = imread("ad.jpg");

    // Set data for mouse handler
    Mat im_temp = im_dst.clone();
    userdata data;
    data.im = im_temp;
    //show the image
    imshow("Image", im_temp);

    cout << "在圖片的廣告牌中點擊選擇要替換的圖片的四個頂點" << endl;
    //set the callback function for any mouse event
    setMouseCallback("Image", mouseHandler, &data);
    waitKey(0);

    //計算原圖四個角點和目標圖區域對應角點的 Homography
    Mat Homography = findHomography(pts_src, data.points);
    //用單應矩陣對原圖進行透視變換
    /**
     **第一個參數是原圖像，第二個圖像是目標圖像，第三個參數是變換矩陣，第四個參數是輸出圖像的大小
     */
    warpPerspective(im_src, im_temp, Homography, im_temp.size());

    //獲取鼠標點擊的圖像中的四個頂點的座標
    Point pts_dst[4];
    for(int i=0;i<4;i++)
    {
        pts_dst[i]=data.points[i];
    }
    //將目標圖像的四個頂點之內的區域填充爲黑色
    fillConvexPoly(im_dst, pts_dst, 4, Scalar(0), CV_AA);
    //將原圖和目標圖進行疊加
    im_dst = im_dst + im_temp;
    
    // Display image.
    imshow("Image", im_dst);
    imwrite("result.jpg",im_dst);
    waitKey(0);

    return 0;
}

這裏還要重點關注一下opencv提供的另一個透視變換函數warpPerspective，看看它是怎樣使用單應矩陣來進行圖像之間的透視變換的。

另外，上邊的代碼可以直接些cmake工程來進行編譯或者使用g++來編譯，筆者直接使用g++進行編譯的，編譯命令如下：

g++ -std=c++11 `pkg-config opencv --cflags` test.cpp  -o test `pkg-config opencv --libs`

代碼放在了test.cpp當中，編譯生成的可執行文件爲test，之後執行test，並按照提示在廣告牌中用鼠標選擇要替換的廣告牌的四個頂點即可。