ToF基礎知識

1. ToF相機數學模型

• ToF: Time of Flight
• ToF鼻祖：PMD

1.1 ToF原理

• ToF攝像機光探測器收到的信號有：包括各個方向返回的光信號（光子），由背景光線等一系列信號複合組成的，這些光信號均爲正弦調製。由於ToF攝像的調製和解調函數都爲正弦函數形式，則ToF攝像機發射出的信號及反射回來的信號均可描述爲正弦函數的形式，發出的測量信號爲：
  $s(t) = A \cdot cos(\omega t)$
  返回的信號$r(t)$爲：
  $r(t) = n + kA \cdot cos (\omega t + \Delta \varphi)$
  其中參數含義如下：
  • $n$: 表示外部環境疊加進去的干擾噪聲
  • $A$：表示ToF攝像機發射信號的振幅
  • $kA$：表示返回信號的振幅
  • $k$：表示信號的衰減係數
    爲了達到測量飛行時間的目的，採用相位差方法，即將測量飛行時間$\Delta t$轉換成發射信號與接收信號間的相位差$\Delta \varphi$,如下所示：
    $飛行時間： \Delta t = \frac {\Delta \varphi}{2 \pi} \cdot T_m = \frac {\Delta \varphi}{2 \pi} \cdot \frac{1}{f_m}$
    $飛行距離：d=\frac{1}{2} c \cdot \Delta t = \frac {c}{2f_m} \cdot \frac {\Delta \varphi}{2 \pi}$
    其中參數含義如下：
    • $c$: 表示光速
    • $f_m$：表示紅外信號的調製頻率
      $測量量程：L=\frac {c}{2f_m}$
      $若f_m爲20MHz, 則 L = \frac{3 \times 10^8}{2 \times 20 \times 10^6}=7.5m$
      $測量分辨率：\Delta L = \frac {c}{2f_m} \cdot \frac {\Delta \phi}{2 \pi} = \frac{c}{4 \pi f_m} \cdot \Delta \phi$
      其中參數含義如下：
    • $\Delta \phi$: 表示ToF攝像機的相位測量分辨率
• ToF攝像機測量系統信號示意圖：
  
• ToF攝像機解調和測量的方法爲：四點測量法
  • 對於攝像機發出的正弦信號，選定四個相位：$t_0=0^0, t_1= 90^0, t_2=180^0, t_3=270^0$作爲解調和測量的採樣點，每個採樣點間的間隔爲四分之一調製週期$T$，即正交採樣。
  • 計算包含以下四個步驟：
    • 卷積
    • “四點測量法”測量互相關函數值
    • 計算幅度、相位、偏移
    • 計算距離
• 測量信號的相位獲取並不是以整體形式計算得出的，而是攝像機的光探測器上各像素均可獨立獲取。
• 推測器表面獲得的相位延遲信息可轉換爲測得的時間信息
• 時間信息可以轉換爲各像素獲得的距離信息
• ToF攝像機每拍攝一次，其獲得的距離信息的數量與攝像機的分辨率大小是相等的，即每個像素獲取一個距離信息

2. 攝像機成像模型

2.1 座標系

• 上圖中的座標系及相關定義：
  • $O_w-X_wY_wZ_w$：世界座標系
  • $O_c-X_cY_cZ_c$：攝像機座標系 ($O_c$定義在攝像機光心上； $Z_c$爲攝像機主光軸，且它與像平面垂直)
  • $O_I-X_IY_I$：像平面座標系
  • $o-uv$：圖像像素座標系
  • $P$：爲空間中的任意一點
  • $P'$：P點在像平面上的投影像點
  • $O_cO_I$：焦距$f$
• 攝像機的像平面定義了兩個圖像座標系：
  • $O_I-X_IY_I$：像平面座標系 （$\color{red}{以毫米爲單位}$）
  • $o-uv$：像素座標系 （$\color{red}{以像素爲單位}$）
• $O_I-X_IY_I$的原點$O_I$
  • 定義原點$O_I$：爲攝像機主光軸與攝像機像平面的交點
  • 理想情況：$O_I$位於圖像中心處
  • 實際情況：由於攝像機制作等原因，會發生偏離
• 攝像機的像平面座標系如下圖：
  
  • $(u_0,v_0)$：像平面座標系原點$O_I$在像素座標系中的座標
  • $d_x,d_y$：分別爲每個像素在$X_I和Y_I$軸的方向上的物理尺寸 ($\color{red}{以像素爲單位}$)
• 像素座標系與像平面座標系的變換
  $\begin{cases} u = \frac{X_I}{d_x} + u_0 \\ v = \frac{Y_I}{d_y} + v_0 \end{cases}$
• 攝像機座標系與像平面座標系的變換 (相似三角形)
  $\frac{X_I}{X_c} = \frac{Y_I}{Y_c} = \frac{f}{Z_c}$
  $\begin{cases} X_I =f \frac{X_c}{Z_c} \\ Y_I = f\frac{Y_c}{Z_c} \end{cases}$
• 世界座標系與攝像機座標系的變換
  $\left[ \begin{matrix} X_c \\ Y_c \\ Z_c \end{matrix} \right] =R \left[ \begin{matrix} X_w \\ Y_w \\ Z_w \end{matrix} \right] + T$
• R表示旋轉矩陣
  $R= \left[ \begin{matrix} r_{11}, r_{12}, r_{13} \\ r_{21}, r_{22}, r_{23} \\ r_{31}, r_{32}, r_{33} \end{matrix} \right]$
• T表示平移向量
  $T= \left[ \begin{matrix} t_x \\ t_y \\ t_z \end{matrix} \right]$