OpenCV總結：目標跟蹤之CamShift算法

CamShift算法全稱是“Continuously Adaptive Mean-Shift”（連續的自適應MeanShift算法），是對MeanShift算法的改進算法，可以在跟蹤的過程中隨着目標大小的變化實時調整搜索窗口大小，對於視頻序列中的每一幀還是採用MeanShift來尋找最優迭代結果，至於如何實現自動調整窗口大小的，可以查到的論述較少，我的理解是通過對MeanShift算法中零階矩的判斷實現的。

在MeanShift算法中尋找搜索窗口的質心用到窗口的零階矩M00和一階矩M10，M01：

零階矩是搜索窗口內所有像素的積分，即所有像素值之和，物理上的意義是計算搜索窗口的尺寸。經過目標的H分量直方圖反向投影后，目標區域的搜索窗口大部分像素值歸一化後應該是最大值255，如果計算出來零階矩大於某一閾值，可以認爲此時目標鋪滿了整個搜索窗口，有理由認爲在搜索窗口之外的區域還存在目標區域，需要增大搜索窗口的尺寸；相應的，如果零階矩小於某一閾值，則需要縮小搜索窗口的尺寸，如此一來，當目標的大小發生變化的時候，CamShift算法就可以自適應的調整目標區域進行跟蹤。

以上過程中涉及到一個關鍵的概念——反向投影，CamShift和MeanShift的運算都是在反向投影圖像上進行的，反向投影的實現過程如下：計算並生成目標區域的H分量的直方圖，反向投影其實就是把目標圖像上每一個像素點的像素值替換爲當前像素值所在bin對應的直方圖bin的數值。

Opencv中CamShfit在使用上跟MeanShift一致：

CamShift( InputArray probImage, CV_OUT CV_IN_OUT Rect& window, TermCriteria criteria );

第一個參數probImage是反向投影圖像
第二個參數window是輸入和輸出的搜索窗口/目標窗口，window的尺寸會自動調整

第三個參數criteria是迭代收斂終止條件

#include "core/core.hpp"      
#include "highgui/highgui.hpp"      
#include "imgproc/imgproc.hpp"  
#include "video/tracking.hpp"  
#include<iostream>      
 
using namespace cv;      
using namespace std;      
 
Mat image;    
Mat rectImage;  
Mat imageCopy; //繪製矩形框時用來拷貝原圖的圖像    
bool leftButtonDownFlag=false; //左鍵單擊後視頻暫停播放的標誌位    
Point originalPoint; //矩形框起點    
Point processPoint; //矩形框終點    
 
Mat targetImageHSV;  
int histSize=200;    
float histR[]={0,255};    
const float *histRange=histR;    
int channels[]={0,1};   
Mat dstHist;  
Rect rect;  
vector<Point> pt; //保存目標軌跡  
void onMouse(int event,int x,int y,int flags ,void* ustc); //鼠標回調函數    
 
int main(int argc,char*argv[])      
{      
	VideoCapture video(argv[1]);    
	double fps=video.get(CV_CAP_PROP_FPS); //獲取視頻幀率    
	double pauseTime=1000/fps; //兩幅畫面中間間隔    
	namedWindow("跟蹤木頭人",0);      
	setMouseCallback("跟蹤木頭人",onMouse);    
	while(true)    
	{    
		if(!leftButtonDownFlag) //判定鼠標左鍵沒有按下，採取播放視頻，否則暫停    
		{    
			video>>image;    
		}    
		if(!image.data||waitKey(pauseTime)==27)  //圖像爲空或Esc鍵按下退出播放    
		{    
			break;    
		}   
		if(originalPoint!=processPoint&&!leftButtonDownFlag)    
		{   
			Mat imageHSV;  
			Mat calcBackImage;  
			cvtColor(image,imageHSV,CV_RGB2HSV);  
			calcBackProject(&imageHSV,2,channels,dstHist,calcBackImage,&histRange);  //反向投影  
			TermCriteria criteria(TermCriteria::MAX_ITER + TermCriteria::EPS, 1000, 0.001);    
			CamShift(calcBackImage, rect, criteria);     
			Mat imageROI=imageHSV(rect);   //更新模板             
			targetImageHSV=imageHSV(rect);  
			calcHist(&imageROI, 2, channels, Mat(), dstHist, 1, &histSize, &histRange);    
			normalize(dstHist, dstHist, 0.0, 1.0, NORM_MINMAX);   //歸一化  
			rectangle(image, rect, Scalar(255, 0, 0),3);    //目標繪製    
			pt.push_back(Point(rect.x+rect.width/2,rect.y+rect.height/2));  
			for(int i=0;i<pt.size()-1;i++)  
			{  
				line(image,pt[i],pt[i+1],Scalar(0,255,0),2.5);  
			}  
		}    
		imshow("跟蹤木頭人",image);   
		waitKey(100);  
	}  
	return 0;    
}      
 
//*******************************************************************//      
//鼠標回調函數      
void onMouse(int event,int x,int y,int flags,void *ustc)      
{     
	if(event==CV_EVENT_LBUTTONDOWN)      
	{      
		leftButtonDownFlag=true; //標誌位    
		originalPoint=Point(x,y);  //設置左鍵按下點的矩形起點    
		processPoint=originalPoint;    
	}      
	if(event==CV_EVENT_MOUSEMOVE&&leftButtonDownFlag)      
	{      
		imageCopy=image.clone();    
		processPoint=Point(x,y);    
		if(originalPoint!=processPoint)    
		{    
			//在複製的圖像上繪製矩形    
			rectangle(imageCopy,originalPoint,processPoint,Scalar(255,0,0),2);    
		}    
		imshow("跟蹤木頭人",imageCopy);    
	}      
	if(event==CV_EVENT_LBUTTONUP)      
	{      
		leftButtonDownFlag=false;    
		rect=Rect(originalPoint,processPoint);        
		rectImage=image(rect); //子圖像顯示    
		imshow("Sub Image",rectImage);        
		cvtColor(rectImage,targetImageHSV,CV_RGB2HSV);  
		imshow("targetImageHSV",targetImageHSV);  
		calcHist(&targetImageHSV,2,channels,Mat(),dstHist,1,&histSize,&histRange,true,false);         
		normalize(dstHist,dstHist,0,255,CV_MINMAX);  
		imshow("dstHist",dstHist);  
	}        
}     

 

 

 

藍色窗口是跟蹤的目標，綠色的線是跟蹤軌跡