相机标定（三）-相机成像模型

>>>文章索引<<<

相机标定（一）-原理及内参、外参
相机标定（二）-畸变校正，张正友标定法
相机标定（三）-相机成像模型

---

1 人眼&相机结构

1.1 类比

类比来说，相机就是计算机的“眼睛”：

1.2 成像

本质上来说，图像是真实世界场景中在二维平面（成像平面）的投影，它记录了两类信息：

• 几何信息：位置、点、线等；
• 光度信息：强度、色彩。

2 相机成像模型

• 小孔成像模型（Pinhole camera model）
• 正交投影（Orthographic projection）
• 缩放正交投影（Scaled orthographic projection）
• 透视投影（Perspective projection）

2.1 小孔成像模型（Pinhole camera model）

数学表示，具体也可参考博客：

一般来说，我们使用右手座标系：

小孔成像模型实际上是透视投影（perspective projection）的一种最简单的形式。假设我们要将真实世界中的三维点$(X,Y,Z)^T$投影为二维图像上的点$p=(x,y)^T$，则有：

$\begin{cases} \frac{X}{Z}=\frac{x}{f} \\ \frac{Y}{Z}=\frac{y}{f} \end{cases} \Rightarrow \begin{cases} x=f\frac{X}{Z} \\ y=f\frac{Y}{Z} \end{cases} \tag{1}$

2.2 正交投影（Orthographic projection）

• 3D场景距离相机无限远；
• 所有投影线均平行于光轴。

则有$x=X, y=Y$。

2.3 缩放正交投影（Scaled orthographic projection）

• 场景深度<<到相机的距离；
• 场景中所有点的Z值均相同，如$Z_0$。

这种情况相当于对垂直于相机Z轴方向上的一个平面场景进行成像，则对于场景中所有的点有：$x=sX, y=sY, s=\frac{f}{Z_0}$。

2.4 透视投影（Perspective projection）

3 相机参数

对于小孔成像模型中，有：

$\begin{cases} x=f\frac{X}{Z} \\ y=f\frac{Y}{Z} \end{cases} \tag{2}$

3.1 相机内参

上述为理想状态下的公式，下面来分析几种特殊情况。

3.1.1 像素不是正方形

当相机传感器（CCD）上的像素不是正方形时有：

$\begin{cases} x=kf\frac{X}{Z} \\ y=lf\frac{Y}{Z} \end{cases} \tag{3}$

• x，y：座标（pixel）；
• k，l：缩放因子（pixel/mm）
• f：焦距（mm）

令上式中：$f_x=kf, f_y=lf$，则有：

$\begin{cases} x=f_x\frac{X}{Z} \\ y=f_y\frac{Y}{Z} \end{cases} \tag{4}$

3.1.2 相机主点（principal point）不在原点

即光轴与CCD中心有偏移。假设主点在图像上的座标（像素）为$c_x, c_y$，则有：

$\begin{cases} x=f_x\frac{X}{Z}+c_x \\ y=f_y\frac{Y}{Z}+c_y \end{cases} \tag{5}$

那么沿着相机的Z轴，有$X=Y=0$，$x=c_x, y=c_y$。

3.1.3 x轴与y轴不垂直

理想情况下，x轴与y轴是相互垂直的，但一般情况下，x轴和y轴的夹角并不是90度。假设x轴和y轴之间的夹角为$\theta$，则有：

$\begin{cases} x=f_x\frac{X}{Z}-f_x cot\theta \frac{Y}{Z}+c_x \\ y=\frac{f_y}{sin\theta}\frac{Y}{Z}+c_y \end{cases} \tag{6}$

3.1.4 内参矩阵

组合所有参数，可以得到相机的内参矩阵$K$：

$K= \begin{bmatrix} f_x & -f_xcot\theta & c_x \\ 0 & \frac{f_y}{sin\theta} & c_y \\ 0 & 0 & 1 \end{bmatrix} ＝ \begin{bmatrix} f_x & s & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1 \end{bmatrix} \tag{7}$

3.2 相机外参

相机外参反映了相机在世界座标空间中的位姿，可通过一个刚性变换来表示，通常包含平移$T$和旋转$R$。

平移矩阵：

$T= \begin{bmatrix} T_X \\ T_Y \\ T_Z \end{bmatrix} \tag{8}$

旋转矩阵：

$R= \begin{bmatrix} r_11 & r_12 & r_13 \\ r_21 & r_22 & r_23 \\ r_31 & r_32 & r_33 \end{bmatrix} \tag{9}$

旋转矩阵是正交的，所以有：$R^TR=I$。

4 畸变

畸变是光学透镜固有的透视失真特性，目前所有的镜头都存在畸变，只是程度不同。畸变又分为径向畸变和切向畸变，这里只以径向畸变为例。常见的径向畸变有桶形畸变、枕形畸变等：

径向畸变可以被建模为：

具体的畸变校正过程可以参考博客。

5 相机标定

相机标定的目的就是获取前文提到的相机内参、外参和畸变系数。通常，标定方法分为两步：（1）从不同角度捕获棋盘格图像；（2）检测角点并计算相机参数。

可使用OpenCV或其他相机标定程序来完成参数计算。

参考

[1] 一个pdf，下载地址找不到了=_=