1、感興趣區域的選取
感興趣區域(Region of Interest, ROI)的選取，一般有兩種情形：1)已知ROI在圖像中的位置；2)ROI在圖像中的位置未知。
1)第一種情形 很簡單，根據ROI的座標直接從原圖摳出，不過前提是要知道其座標，直接上例子吧。
int getROI(Mat image, Rect rect)
{
Mat img=image.clone();
Mat roi;
int cols=img.cols, rows=img.rows;
//ROI越界，返回
if(cols-1-rect.x<rect.width||rows-1-rect.y<rect.height)
return -1;
roi=img(Rect(rect.x, rect.y, rect.width, rect.height));
rectangle(img, rect, Scalar(0, 0, 255),2);
imshow("SignROI",img);
image.copyTo(img); //ROI和它的父圖像指向同一塊緩衝區，經次操作消除 標記ROI的矩形框
imshow("ROI",roi);
}
程序很簡單，這裏需要注意的是ROI和原始圖像(父圖像)共享數據緩衝區，對ROI的任何變換都會影響到原始圖像的對應區域。並且創建ROI時不涉及數據的拷貝，所以創建ROI的運行時間始終是常量。
2)第二種情形 ，我們通過鼠標交互地提取ROI。OpenCV中鼠標操作依賴鼠標的回調函數和響應函數實現。主函數中調用鼠標的回調函數，將鼠標操作與程序的窗口綁定，產生鼠標操作時回調函數調用鼠標響應函數執行。
回調函數setMouseCallback
void setMouseCallback(const string& winname,
MouseCallback onMouse,
void* userdata=0 )
Parameters:
第一個參數，windows視窗名稱，對名爲winname的視窗進行鼠標監控；
第二個參數，鼠標響應處理函數，監聽鼠標的點擊，移動，鬆開，判斷鼠標的操作類型，並進行響應的函數處理；
第三個參數，鼠標響應處理函數的ID，與鼠標相應處理函數相匹配就行，暫時只用到默認爲0的情況。
鼠標響應處理函數onMouse
OpenCV中，鼠標相應處理函數一般默認形參和返回參數。
void onMouse(int event,int x,int y,int flags,void *ustc)
Parameters:
第一個參數，鼠標操作時間的整數代號，在opencv中，event鼠標事件總共有10中，從0-9依次代表如下:EVENT_MOUSEMOVE =0, //滑動
EVENT_LBUTTONDOWN =1, //左鍵點擊
EVENT_RBUTTONDOWN =2, //右鍵點擊
EVENT_MBUTTONDOWN =3, //中間點擊
EVENT_LBUTTONUP =4, //左鍵釋放
EVENT_RBUTTONUP =5, //右鍵釋放
EVENT_MBUTTONUP =6, //中間釋放
EVENT_LBUTTONDBLCLK =7, //左鍵雙擊
EVENT_RBUTTONDBLCLK =8, //右鍵雙擊
EVENT_MBUTTONDBLCLK =9 //中間釋放
第二個參數，代表鼠標位於窗口的(x，y)座標位置，窗口左上角默認爲原點，向右爲x軸，向下爲y軸；
第三個參數，代表鼠標的拖拽事件，以及鍵盤鼠標聯合事件，總共有32種事件，這裏不再贅述。
第四個參數，函數參數的編號。
程序如下：
#include <iostream>
#include "opencv2/core/core.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include "opencv2/highgui/highgui.hpp"
using namespace std;
using namespace cv;
bool draw;
Mat src;//原始圖像
Mat roi;//ROI圖像
Point cursor;//初始座標
Rect rect;//標記ROI的矩形框
void onMouse(int event, int x, int y, int flags, void *param)
{
Mat img = src.clone();
switch (event)
{
//按下鼠標左鍵
case CV_EVENT_LBUTTONDOWN:
//點擊鼠標圖像時，清除之前ROI圖像的顯示窗口
cvDestroyWindow("ROI");
//存放起始座標
cursor = Point(x, y);
//初始化起始矩形框
rect = Rect(x, y, 0, 0);
draw = true;
break;
//鬆開鼠標左鍵
case CV_EVENT_LBUTTONUP:
if (rect.height > 0 && rect.width > 0)
{
//將img中的矩形區域複製給roi，並顯示在SignROI窗口
roi = img(Rect(rect.x, rect.y, rect.width, rect.height));
rectangle(img, rect, Scalar(0, 0, 255),2);
namedWindow("SignROI");
imshow("SignROI", img);
//將畫過矩形框的圖像用原圖像還原
src.copyTo(img);
imshow("SrcImage", img);
//顯示ROI圖像
namedWindow("ROI");
imshow("ROI", roi);
waitKey(0);
}
draw = false;
break;
//移動光標
case CV_EVENT_MOUSEMOVE:
if (draw)
{
//用MIN得到左上點作爲矩形框的起始座標，如果不加這個，畫矩形時只能向一個方向進行
rect.x = MIN(x, cursor.x);
rect.y = MIN(y, cursor.y);
rect.width = abs(cursor.x - x);
rect.height = abs(cursor.y - y);
//防止矩形區域超出圖像的範圍
rect &= Rect(0, 0, src.cols, src.rows);
}
break;
}
}
int main()
{
src=imread("test.jpg");
if(src.data==0)
{
cout<<"error, the src image is not built!"<<endl;
return -1;
}
namedWindow("SrcImage");
imshow("SrcImage",src);
setMouseCallback("SrcImage", onMouse, NULL);
waitKey();
return 0;
}
運行結果：
![è¿éåå¾çæè¿°]()
2、反向投影直方圖檢測ROI
圖像直方圖是什麼？其實就是與圖像某一特徵有關的數據集合的統計關係，反應在歸一化直方圖中則是與該圖像特徵有關的數據集合的概率關係。圖像某一子區域的直方圖可以看做是一個概率函數，它給出的是某個像素屬於該區域紋理特徵的概率。還是上例子吧。
1) 求出上面灰度圖中矩形框標記出的區域的歸一化灰度直方圖，爲方便理解直方圖的每個bin只有一個像素，則每個bin的數值不就是這一像素值在圖片中出現的概率麼。
2) 遍歷上面圖像中的每個像素，獲取其灰度值在直方圖(矩形框標記區域)的bin的數值，用該數概率值代替原來像素的灰度值。
3) 得到的概率映射圖的每一像素不就代表了它屬於標記區域的概率麼？
從上例我們可以抽象出，方向投影直方圖的作用是在於替換一個輸入圖像中每個像素值，使其變成歸一化直方圖中對應的概率值。OpenCV提供了反向投影直方圖操作的API函數calcBackProject，其函數原型爲：
void calcBackProject(const Mat* arrays, //原始圖像
int narrays, //原始圖像張數
const int* channels, //原始圖像通道數量
const SparseMat& hist, //進行反投影的直方圖
OutputArray backProject,//生成的反向投影圖像
const float** ranges, //直方圖每個維度的值域
double scale=1, //縮放因子
bool uniform=true ) //是否均勻
很多參數與calcHist的意義類似，縮放因子表示對得到的反向投影圖像的每個“像素”可乘以一浮點數進行縮放。
程序如下：
//CalcHistogram.h
#pragma once
#include "opencv2/core/core.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include "opencv2/highgui/highgui.hpp"
using namespace cv;
class CalcHistogram
{
private:
int histSize[3]; //直方圖項的數量
float hranges[2]; //h通道像素的最小和最大值
float sranges[2];
float vranges[2];
const float *ranges[3]; //各通道的範圍
int channels[3]; //三個通道
int dims;
Mat histogram; //用來存放 待反投影 的歸一化直方圖
public:
CalcHistogram(int hbins=90, int sbins=128, int vbins=128);
~CalcHistogram(void);
//計算直方圖
Mat getHistogram(const Mat &image);
//畫出直方圖
void getHistogramImage(const Mat &image);
//直方圖歸一化
void setHistogram(const Mat& h);
//反投影直方圖檢測ROI
Mat reverseHistogram(const Mat& image);
};
CalcHistogram.cpp
//CalcHistogram.cpp
#include "CalcHistogram.h"
CalcHistogram::CalcHistogram(int hbins, int sbins, int vbins)
{
histSize[0]=hbins;
histSize[1]=sbins;
histSize[2]=vbins;
hranges[0]=0; hranges[1]=180;
sranges[0]=0; sranges[1]=256;
vranges[0]=0; vranges[1]=256;
ranges[0]=hranges;
ranges[1]=sranges;
ranges[2]=vranges;
channels[0]=0;
channels[1]=1;
channels[2]=2;
dims=3;
}
CalcHistogram::~CalcHistogram(void)
{
}
Mat CalcHistogram::getHistogram(const Mat &image)
{
Mat hist;
calcHist(&image,
1,
channels,
Mat(),
hist,
dims,
histSize,
ranges,
true, //直方圖是均勻的
false
);
return hist;
}
void CalcHistogram::getHistogramImage(const Mat &image)
{
Mat hist=getHistogram(image);
int scale = 4;
int hbins=histSize[0];
int sbins=histSize[1];
int vbins=histSize[2];
float *hist_sta = new float[sbins];
float *hist_val = new float[vbins];
float *hist_hue = new float[hbins];
memset(hist_val, 0, vbins*sizeof(float));
memset(hist_sta, 0, sbins*sizeof(float));
memset(hist_hue, 0, hbins*sizeof(float));
for( int s = 0; s < sbins; s++ )
{
for( int v = 0; v < vbins; v++ )
{
for(int h=0; h<hbins; h++)
{
float binVal = hist.at<float>(h, s, v);
hist_hue[h] += binVal;
hist_val[v] += binVal;
hist_sta[s] += binVal;
}
}
}
double max_sta=0, max_val=0,max_hue=0;
for(int i=0; i<sbins; ++i)
{
if(hist_sta[i]>max_sta)
max_sta = hist_sta[i];
}
for(int i=0; i<vbins; ++i)
{
if(hist_val[i]>max_val)
max_val = hist_val[i];
}
for(int i=0; i<hbins; ++i)
{
if(hist_hue[i]>max_hue)
max_hue = hist_hue[i];
}
Mat sta_img = Mat::zeros(240, sbins*scale+20, CV_8UC3);
Mat val_img = Mat::zeros(240, vbins*scale+20, CV_8UC3);
Mat hue_img = Mat::zeros(240, hbins*scale+20, CV_8UC3);
for(int i=0; i<sbins; ++i)
{
int intensity = cvRound(hist_sta[i]*(sta_img.rows-10)/max_sta);
rectangle(sta_img, Point(i*scale+10, sta_img.rows-intensity),Point((i+1)*scale-1+10, sta_img.rows-1), Scalar(0,255,0), 1);
}
for(int i=0; i<vbins; ++i)
{
int intensity = cvRound(hist_val[i]*(val_img.rows-10)/max_val);
rectangle(val_img, Point(i*scale+10, val_img.rows-intensity),Point((i+1)*scale-1+10, val_img.rows-1), Scalar(0,0,255), 1);
}
for(int i=0; i<hbins; ++i)
{
int intensity = cvRound(hist_hue[i]*(hue_img.rows-10)/max_hue);
rectangle(hue_img, Point(i*scale+10, hue_img.rows-intensity),Point((i+1)*scale-1+10, hue_img.rows-1), Scalar(255,0,0), 1);
}
imshow("Shist", sta_img);
imshow("Vhist", val_img);
imshow("Hhist", hue_img);
delete[] hist_sta;
delete[] hist_val;
delete[] hist_hue;
}
void CalcHistogram::setHistogram(const Mat& h)
{
histogram = h;
normalize(histogram,histogram, 1.0);
}
Mat CalcHistogram::reverseHistogram(const Mat& image)
{
Mat mapImg; //反向投影直方圖之後得到的概率圖
calcBackProject(&image,
1,
channels,
histogram,
mapImg,
ranges,
255.0
);
return mapImg;
}
main.cpp
//main.cpp
#include <iostream>
#include "CalcHistogram.h"
using namespace std;
bool draw;
Mat src;//原始圖像
Mat hsv;//原圖轉化爲hsv
Mat roi;//ROI圖像
Point cursor;//初始座標
Rect rect;//標記ROI的矩形框
void onMouse(int event, int x, int y, int flags, void *param)
{
Mat img = hsv.clone();
switch (event)
{
//按下鼠標左鍵
case CV_EVENT_LBUTTONDOWN:
//點擊鼠標圖像時，清除之前ROI圖像的顯示窗口
cvDestroyWindow("ROI");
//存放起始座標
cursor = Point(x, y);
//初始化起始矩形框
rect = Rect(x, y, 0, 0);
draw = true;
break;
//鬆開鼠標左鍵
case CV_EVENT_LBUTTONUP:
if (rect.height > 0 && rect.width > 0)
{
//將img中的矩形區域複製給roi，並顯示在SignROI窗口
roi = img(Rect(rect.x, rect.y, rect.width, rect.height));
rectangle(img, rect, Scalar(0, 0, 255),2);
namedWindow("SignROI");
imshow("SignROI", img);
//將畫過矩形框的圖像用原圖像還原
hsv.copyTo(img);
imshow("SrcImage", img);
//顯示ROI圖像
namedWindow("ROI");
imshow("ROI", roi);
//計算ROI的直方圖並歸一化
CalcHistogram h;
Mat hist=h.getHistogram(roi);
h.setHistogram(hist);
//在hsv圖像上反向投影ROI的歸一化直方圖
Mat mapImage=h.reverseHistogram(hsv);
imshow("mapImage", mapImage);
waitKey(0);
}
draw = false;
break;
//移動光標
case CV_EVENT_MOUSEMOVE:
if (draw)
{
//用MIN得到左上點作爲矩形框的起始座標，如果不加這個，畫矩形時只能向一個方向進行
rect.x = MIN(x, cursor.x);
rect.y = MIN(y, cursor.y);
rect.width = abs(cursor.x - x);
rect.height = abs(cursor.y - y);
//防止矩形區域超出圖像的範圍
rect &= Rect(0, 0, src.cols, src.rows);
}
break;
}
}
int main()
{
src=imread("test.jpg");
if(!src.data)
{
cout<<"error, the image is not built!"<<endl;
return -1;
}
cvtColor(src, hsv, CV_BGR2HSV);
//用鼠標獲取ROI
namedWindow("SrcImage");
imshow("SrcImage",hsv);
setMouseCallback("SrcImage", onMouse, NULL);
waitKey();
return 0;
}
運行結果：
程序說明：
程序中涉及反向投影直方圖的代碼就幾行而已，只是因爲之前的博客中把直方圖的計算封裝成了類，就代碼重用了[其實是懶]！再嘮叨一句，反向投影直方圖的結果是一個概率映射，其體現的是已知的圖像內容出現在圖像中特定位置的概率。
