ToF基础知识

1. ToF相机数学模型

• ToF: Time of Flight
• ToF鼻祖：PMD

1.1 ToF原理

• ToF摄像机光探测器收到的信号有：包括各个方向返回的光信号（光子），由背景光线等一系列信号复合组成的，这些光信号均为正弦调制。由于ToF摄像的调制和解调函数都为正弦函数形式，则ToF摄像机发射出的信号及反射回来的信号均可描述为正弦函数的形式，发出的测量信号为：
  $s(t) = A \cdot cos(\omega t)$
  返回的信号$r(t)$为：
  $r(t) = n + kA \cdot cos (\omega t + \Delta \varphi)$
  其中参数含义如下：
  • $n$: 表示外部环境叠加进去的干扰噪声
  • $A$：表示ToF摄像机发射信号的振幅
  • $kA$：表示返回信号的振幅
  • $k$：表示信号的衰减系数
    为了达到测量飞行时间的目的，采用相位差方法，即将测量飞行时间$\Delta t$转换成发射信号与接收信号间的相位差$\Delta \varphi$,如下所示：
    $飞行时间： \Delta t = \frac {\Delta \varphi}{2 \pi} \cdot T_m = \frac {\Delta \varphi}{2 \pi} \cdot \frac{1}{f_m}$
    $飞行距离：d=\frac{1}{2} c \cdot \Delta t = \frac {c}{2f_m} \cdot \frac {\Delta \varphi}{2 \pi}$
    其中参数含义如下：
    • $c$: 表示光速
    • $f_m$：表示红外信号的调制频率
      $测量量程：L=\frac {c}{2f_m}$
      $若f_m为20MHz, 则 L = \frac{3 \times 10^8}{2 \times 20 \times 10^6}=7.5m$
      $测量分辨率：\Delta L = \frac {c}{2f_m} \cdot \frac {\Delta \phi}{2 \pi} = \frac{c}{4 \pi f_m} \cdot \Delta \phi$
      其中参数含义如下：
    • $\Delta \phi$: 表示ToF摄像机的相位测量分辨率
• ToF摄像机测量系统信号示意图：
  
• ToF摄像机解调和测量的方法为：四点测量法
  • 对于摄像机发出的正弦信号，选定四个相位：$t_0=0^0, t_1= 90^0, t_2=180^0, t_3=270^0$作为解调和测量的采样点，每个采样点间的间隔为四分之一调制周期$T$，即正交采样。
  • 计算包含以下四个步骤：
    • 卷积
    • “四点测量法”测量互相关函数值
    • 计算幅度、相位、偏移
    • 计算距离
• 测量信号的相位获取并不是以整体形式计算得出的，而是摄像机的光探测器上各像素均可独立获取。
• 推测器表面获得的相位延迟信息可转换为测得的时间信息
• 时间信息可以转换为各像素获得的距离信息
• ToF摄像机每拍摄一次，其获得的距离信息的数量与摄像机的分辨率大小是相等的，即每个像素获取一个距离信息

2. 摄像机成像模型

2.1 座标系

• 上图中的座标系及相关定义：
  • $O_w-X_wY_wZ_w$：世界座标系
  • $O_c-X_cY_cZ_c$：摄像机座标系 ($O_c$定义在摄像机光心上； $Z_c$为摄像机主光轴，且它与像平面垂直)
  • $O_I-X_IY_I$：像平面座标系
  • $o-uv$：图像像素座标系
  • $P$：为空间中的任意一点
  • $P'$：P点在像平面上的投影像点
  • $O_cO_I$：焦距$f$
• 摄像机的像平面定义了两个图像座标系：
  • $O_I-X_IY_I$：像平面座标系 （$\color{red}{以毫米为单位}$）
  • $o-uv$：像素座标系 （$\color{red}{以像素为单位}$）
• $O_I-X_IY_I$的原点$O_I$
  • 定义原点$O_I$：为摄像机主光轴与摄像机像平面的交点
  • 理想情况：$O_I$位于图像中心处
  • 实际情况：由于摄像机制作等原因，会发生偏离
• 摄像机的像平面座标系如下图：
  
  • $(u_0,v_0)$：像平面座标系原点$O_I$在像素座标系中的座标
  • $d_x,d_y$：分别为每个像素在$X_I和Y_I$轴的方向上的物理尺寸 ($\color{red}{以像素为单位}$)
• 像素座标系与像平面座标系的变换
  $\begin{cases} u = \frac{X_I}{d_x} + u_0 \\ v = \frac{Y_I}{d_y} + v_0 \end{cases}$
• 摄像机座标系与像平面座标系的变换 (相似三角形)
  $\frac{X_I}{X_c} = \frac{Y_I}{Y_c} = \frac{f}{Z_c}$
  $\begin{cases} X_I =f \frac{X_c}{Z_c} \\ Y_I = f\frac{Y_c}{Z_c} \end{cases}$
• 世界座标系与摄像机座标系的变换
  $\left[ \begin{matrix} X_c \\ Y_c \\ Z_c \end{matrix} \right] =R \left[ \begin{matrix} X_w \\ Y_w \\ Z_w \end{matrix} \right] + T$
• R表示旋转矩阵
  $R= \left[ \begin{matrix} r_{11}, r_{12}, r_{13} \\ r_{21}, r_{22}, r_{23} \\ r_{31}, r_{32}, r_{33} \end{matrix} \right]$
• T表示平移向量
  $T= \left[ \begin{matrix} t_x \\ t_y \\ t_z \end{matrix} \right]$