投影式人機交互技術的基礎知識梳理

攝像頭:一般由鏡頭,圖像傳感器和主控芯片構成。鏡頭決定了攝像頭參數,鏡頭的視角越大則圖像的幾何失真越嚴重。選擇鏡頭時應保證鏡頭視角大於投影儀視角使投影圖像全部進入攝像頭視場中。

 

圖像傳感器分爲ccd和cmos兩種,各有優缺點。

               ccd: 優點:靈敏度高,噪聲小,成像質量高   缺點:成本高,功耗大

               cmos:優點:成本低,功耗低,集成度高   缺點:噪聲大,成像質量略低

一般常採用cmos圖像傳感器。

 

投影儀:一種將數字圖像投影到屏幕上的裝置。其工作時,光源經過光學器件產生rgb三個通道的光後經過微型顯示器產生光學圖像再投影到屏幕或物體表面。根據光路的可逆性,投影儀可以看作是一個逆向的攝像機。

 

姿態傳感器:常見的MEMS姿態傳感器包括 加速度傳感器,磁阻傳感器,陀螺儀等。用於檢測系統的姿態變化。

攝像頭/投影儀成像模型(小孔成像模型):

 

攝像機焦距爲f,物體高度爲X,二者距離爲Z,假設圖像平面上物體所成像的高度爲x,則

由於攝像頭芯片的中心通常不在光軸上,實際拍攝到的空間點Q,設其座標爲(X,Y,Z),與理想的成像點會有所偏移,設其像平面座標爲(u,v)則

以齊次座標的方式表示爲

其中lambda是尺度因子,目的是使得圖像平面座標與空間座標尺度相對應。

包含fx fy的矩陣 成爲攝像頭的內參數矩陣。

由於上述公式實在攝像頭座標系與世界座標重合的情況下得到的,一般情況下二者並不同,需要經過旋轉和座標軸轉換重合,因此考慮這個轉換關係(用R T 表示)後的模型爲

投影儀-攝像頭系統的數學模型:

一共有四個座標系:

圖像像素座標系:U-Oi-V ,2d座標系,U和V分別代表圖像的水平和垂直方向,基本單位爲像素點。

圖像物理座標系:X-Ou-Y,2d座標系,Ou點是攝像機光軸與像平面的交點,xy與uv同向,基本單位爲物理長度mm或cm等。

攝像機座標系:Oc-Xc-Yc-Zc,3d座標系,Oc爲攝像機光心,Zc軸與攝像機光軸同向,基本單位是物理長度。

世界座標系:Ow-Xw-Yw-Zw,3d座標系,基本單位是物理長度。

 

攝像機模型:常用針孔模型進行描述。攝像機的成像過程是一個投影變換過程,有三個變換構成,即

1 將空間點M從世界座標系Mw到攝像機座標系Mc的變換,是一個旋轉平移過程

Rc爲旋轉矩陣,Tc爲平移矩陣

2 從攝像機座標系Mc到圖像理想物理座標系 mu的變換,是一個投影變換

根據小孔成像的原理有,其中f是攝像頭焦距,則該變換可表示爲

此處的lambda是尺度因子。

3 從圖像物理座標系到圖像像素座標系的變換,是一個尺度變換過程

對上述三種變換進行整合,得到空空間某一點再攝像頭平面的成像座標爲

最終

 (*)

其中Ac是攝像機的內參數矩陣,大小爲3*3。【Rc,Tc】是攝像機的外參數矩陣,大小爲3*4。

鏡頭的畸變失真:主要有兩種失真,即 徑向畸變失真 和 切向畸變失真。一般使用多項式來近似畸變失真的效果。

假設畸變的圖像點的畸變表示爲

ps. 這裏兩個公式的具體推導過程可參考https://blog.csdn.net/waeceo/article/details/51024396

考慮鏡頭畸變效果並校正後的圖像點座標爲

裏面k,p相關的係數都是失真係數,這些失真係數都屬於攝像頭的內部參數。

投影儀模型:作爲逆向的攝像機模型,投影儀模型也符合小孔成像模型。即也滿足

其畸變失真的校正方式也與攝像機相同。

 

單應性:單應性關係是立體視覺系統或者投影儀-攝像機系統中一個基本的變換關係。描述的是投影變換過程。一般將(*)進行如下表示

(對平面有Zw=0)

稱作單應性矩陣,用於描述攝像頭與投影儀之間的對應關係。

 

 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章