圖像座標系、相機座標系和世界座標系的定義,及三者之間的變換關係。
圖像座標系
1.圖像像素座標系
原點:圖像左上角P0點
單位:像素
橫座標u:圖像數組中的列數
縱座標v:圖像數組中的行數
2.圖像物理座標系
在圖像像素座標系下建立以物理單位(以下均假設爲mm)表示的座標系,使像素尺度具有物理意義。
原點:主點(相機光軸與圖像平面的交點,一般位於圖像平面中心,即圖中O1點)
單位:mm/像素
橫軸x軸:與像素座標系下的u軸平行
縱軸y軸:與像素座標系下的v軸平行
3.圖像像素座標系與圖像物理座標系的轉換關係:
其中:
dx爲每個像素在橫軸x上的尺寸,dy爲每個像素在縱軸y上的尺寸。
將其寫成矩陣形式:
相機座標系
圖中:xy平面爲圖像平面
原點:攝像機光心O點
Xc軸:與圖像座標系x軸平行
Yc軸:與圖像座標系y軸平行
Zc軸:攝像機光軸,與圖像平面垂直
OO1=f(焦距)
圖像物理座標系和相機座標系的轉換關係:
世界座標系
世界座標系用來描述相機的位置,即相機座標系原理圖中的Ow-XwYwZw座標系。
相機座標系與世界座標系的轉換關係:
其中:
R爲旋轉矩陣,是x,y,z三個軸向旋轉矩陣的乘積,即R=RxRyRz。
T爲平移向量,表示三個軸向上的平移距離,即T=[Tx,Ty,Tz]T(上標表轉置)。
Lw爲由旋轉平移構成的一個4*4的矩陣。
由上述對三個座標系之間的轉換可以推導得到圖像像素座標系和世界座標系的轉換關係:
相機的內、外參數矩陣,實際中你能結合身邊的實例(如電腦攝像頭、手機鏡頭)說明這些參數的大致值麼?
相機內參數是與相機自身特性相關的參數,比如相機的焦距、像素大小等;
相機外參數是在世界座標系中的參數,比如相機的位置、旋轉方向等。
佳能 70D相機:
參數:
採用焦距f:50 mm
分辨率採用:1920x1080
傳感器尺寸:22.5x15 mm
計算內參數:
u0=19202=960、v0=10802=540、dx=22.51920=0.0117、dy=151080=0.0139
ax=fdx=4266.67、ay=fdy=360
使用線性法求解相對位姿時的要求輸入和輸出,以及求解的基本思想。
基於空間多點相對位姿測量
通過相機標定或者相機自身參數計算獲取相機內參數和畸變係數
建立世界座標系轉換爲像素座標系的方程
目的是求解外參數矩陣的旋轉向量和平移向量
通過方程組的變換,消去第三維的座標,最後得到一個關於旋轉向量和平移向量的公式。
擴展到多個點的情況下,有六個或以上的特徵點且非共面的時候,就可解得一個關於旋轉向量和平移向量的矩陣組
利用矩陣的QR分解,得到最終的旋轉矩陣和平移矩陣。
最後通過旋轉矩陣計算旋轉角,使得相機座標系和世界座標系完全平行。
注意:在實現過程中,一般使用solvePnP方法進行計算,傳入參數:目標座標系的3D點,圖像平面點座標,相機內參數,畸變係數,最後就可以得到旋轉向量和平移向量
輸入信息
相機的內參數
多個空間上的特徵點(非共面)在目標座標系(3D)和相平面座標系(2D)座標。
輸出信息
目標座標系相對相機座標系的位置和姿態。
基於平面多特徵點相對位姿測量
通過相機標定或者相機自身參數計算獲取相機內參數和畸變係數
建立世界座標系轉換爲像素座標系的方程
目的是求解外參數矩陣的旋轉向量和平移向量
通過方程組的變換,消去第三維的座標,最後得到一個關於旋轉向量和平移向量的公式。
擴展到多個點的情況下,有四個或以上的特徵點且非共面的時候,就可解得一個關於旋轉向量和平移向量的矩陣組
利用矩陣的QR分解,得到最終的旋轉矩陣和平移矩陣。
最後通過旋轉矩陣計算旋轉角,使得相機座標系和世界座標系完全平行。
注意:在實現過程中,一般使用solvePnP方法進行計算,傳入參數:目標座標系的3D點,圖像平面點座標,相機內參數,畸變係數,最後就可以得到旋轉向量和平移向量
輸入信息
相機內參數
多個平面上的特徵點在目標座標系(3D)和相平面座標系(2D)座標
輸出信息
目標座標系相對相機座標系的位置和姿態。
使用Zhang方法進行相機標定需要的輸入條件和得到的具體輸出量,以及Zhang方法的主要步驟
輸入條件
目標物體的多個pose的圖片數據,一般最少30張。
通過圖片數據,獲取目標座標系的3D點和圖像平面點座標。
輸出量
相機內參數矩陣
畸變係數
旋轉變量
平移變量
主要步驟
設定標定板
旋轉標定板或相機,採集標定板圖像的不同pose
對一個pose,計算單應矩陣(類似M矩陣)
有三個以上Pose,根據各單應矩陣計算線性相機參數
使用非線性優化方法計算非線性參數
最後得到相機內參數、矩陣畸變係數以及每張圖片的旋轉變量和平移變量。