這是我在group meeting的時候,第一次給小夥伴們分享雙目立體視覺知識所用ppt的內容,主要是學習借鑑了“stereo vision: algorithm and application”的課件,希望各位有興趣的童鞋留言交流!
1、
what is stereo vision system?
Is a technique aimed at inferring depth from two or more cameras .
立體視覺是利用兩個或者更多相機來計算物體深度的技術。
2、
What do wehave from stereo camera? A generalsituation:
這是一個兩臺照相機的情況,在上一張圖中,相機抽象爲兩個視點,R和T,對於目標物體P,在R的成像平面投影爲p,在T的成像平面投影爲p`,同時在P到p連線上,存在另一個物體Q,在R的(成像平面)投影也在p(與q重合了),在T的投影爲q`,也就是說,雖然在一張圖上不能分辨的深度,從另一個視點就可以找到了
那怎麼找到呢?
現在,我們看下面的圖,在P和p`的連線上,存在另一物體Q`,在T的投影在p`(和P的投影點重合了)在R的投影爲q``,那麼連接p和q``爲直線L1,連接p`和q`爲直線L2,這下就可以理解“極線”的定義了,L1和L2是相對於R和T視點的對應極線,而且在L1上的點也必然在L2上,這就是“極線約束”(epipolar constrain)。
3、
We down scale the search space from 2d to 1d by epipolar constrain
standard form :
Conjugate epipolar lines of two images lie in the same image scan line
Corresponding points are easier to find , they must lie on the same scan line.
我們利用“極線約束”將搜索對應點的空間從2d降爲1d,從而可以在計算出兩個相機的相對位置之後(相機內參外參計算等前期工作暫不討論,可以看opencv的書有詳細講解呢),將普遍情況轉換爲標準情況——兩條極線重合。標準情況如下:
4、
深度信息從哪裏來呢?已知焦距f(此時兩個照相機的焦距相同),投影點在兩個成像視圖的位置Xr、Xt,兩視點的距離B,用相似三角形定理可以計算Z啦。
5、
一張ground truth可能更直觀
下一篇,主要講我對SGM方法的一些理解,參考論文
Stereo Processing by Semiglobal Matching and Mutual Information
by Heikoin 2008 IEEE
希望有興趣的童鞋不吝賜教!