stereo_calib原理篇

 

轉自：http://sites.google.com/site/opencv123/sample_explain/stereo_calib_theory

關於立體視覺的傻瓜研究

vinjn @ 2009

 

立體視覺，又稱雙目視覺，即Stereo Vision，在機器人領域用於檢測障礙物及感知周圍環境。用兩個攝像頭對同一個場景進行拍攝，攝像頭之間隔開一定距離，就和人眼一樣。同一件物體在我們雙眼中的成像是不同的，有一定的偏移量，這個量我們稱之爲視差（disparity）。即下圖中的d。

d：視差

f：焦距

P：觀察的物體

x^l/x^r：P在左右兩個畫面上的位置

有了視差，我們可以進一步計算深度Z：

  Z和d成反比關係

這是比較理想的情況，實際應用中需要解決很多問題。先對整個成像的過程來個感性的認識。

typedef struct CvCamera { float imgSize[2]; /* size of the camera view, used during calibration */ float matrix[9]; /* intinsic camera parameters: [ fx 0 cx; 0 fy cy; 0 0 1 ] */ float distortion[4]; /* distortion coefficients - two coefficients for radial distortion and another two for tangential: [ k1 k2 p1 p2 ] */ float rotMatr[9]; float transVect[3]; /* rotation matrix and transition vector relatively to some reference point in the space. */ } CvCamera; typedef struct CvStereoCamera { CvCamera* camera[2]; /* two individual camera parameters */ float fundMatr[9]; /* fundamental matrix */ /* New part for stereo */ CvPoint3D32f epipole[2]; CvPoint2D32f quad[2][4]; /* coordinates of destination quadrangle after epipolar geometry rectification */ double coeffs[2][3][3];/* coefficients for transformation */ CvPoint2D32f border[2][4]; CvSize warpSize; CvStereoLineCoeff* lineCoeffs; int needSwapCameras;/* flag set to 1 if need to swap cameras for good reconstruction */ float rotMatrix[9]; float transVector[3]; } CvStereoCamera;  

1.校正鏡頭，undistortion 

1.1 why

存在兩種扭曲

1.2 how

得到一些值，如相機矩陣，鏡片的扭曲參數。

單個攝像頭的情況

兩個攝像頭的情況

校正只需要進行一次，校正中常用的物體是一個棋盤，產生的結果可以被重複使用。

2.對齊兩幅圖，rectification

2.1 why

2.2 how

根據校正獲得的參數，進行計算。remap。 

3. 左右圖像匹配，correspondence

這一步的目的是生成disparity map

輸入的兩張圖是校正過並且對齊過的。

IplImage* srcLeft = cvLoadImage("left.jpg",1); IplImage* srcRight = cvLoadImage("right.jpg",1); IplImage* leftImage = cvCreateImage(cvGetSize(srcLeft), IPL_DEPTH_8U, 1); IplImage* rightImage = cvCreateImage(cvGetSize(srcRight), IPL_DEPTH_8U, 1); IplImage* depthImage = cvCreateImage(cvGetSize(srcRight), IPL_DEPTH_8U, 1); cvCvtColor(srcLeft, leftImage, CV_BGR2GRAY); cvCvtColor(srcRight, rightImage, CV_BGR2GRAY); cvFindStereoCorrespondence( leftImage, rightImage, CV_DISPARITY_BIRCHFIELD, depthImage, 50, 15, 3, 6, 8, 15 ); cvNormalize(depthImage,depthImage,0,255,CV_MINMAX,0 ); 

4. 三維成像，reprojection

這個比較麻煩了。