深度相機按照深度測量原理不同，一般分爲：飛行時間法、結構光法、雙目立體視覺法。本文就來說一說飛行時間法。
一、TOF簡介
飛行時間是從Time of Flight直譯過來的，簡稱TOF。其基本原理是通過連續發射光脈衝（一般爲不可見光）到被觀測物體上，然後用傳感器接收從物體返回的光，通過探測光脈衝的飛行（往返）時間來得到目標物距離。這種技術跟3D激光傳感器原理基本類似，只不過3D激光傳感器是逐點掃描，而TOF相機則是同時得到整幅圖像的深度信息。TOF相機與普通機器視覺成像過程也有類似之處，都是由光源、光學部件、傳感器、控制電路以及處理電路等幾部單元組成。與同屬於非侵入式三維探測、適用領域非常類似的雙目測量系統相比，TOF相機具有根本不同的3D成像機理。雙目立體測量通過左右立體像對匹配後，再經過三角測量法來進行立體探測，而TOF相機是通過入、反射光探測來獲取的目標距離獲取。
TOF技術採用主動光探測方式，與一般光照需求不一樣的是，TOF照射單元的目的不是照明，而是利用入射光信號與反射光信號的變化來進行距離測量，所以，TOF的照射單元都是對光進行高頻調製之後再進行發射，比如下圖所示的採用LED或激光二極管發射的脈衝光，脈衝可達到100MHz。與普通相機類似，TOF相機芯片前端需要一個蒐集光線的鏡頭。不過與普通光學鏡頭不同的是這裏需要加一個帶通濾光片來保證只有與照明光源波長相同的光才能進入。同時由於光學成像系統具有透視效果，不同距離的場景爲各個不同直徑的同心球面，而非平行平面，所以在實際使用時，需要後續處理單元對這個誤差進行校正。作爲TOF的相機的核心，TOF芯片每一個像元對入射光往返相機與物體之間的相位分別進行紀錄。該傳感器結構與普通圖像傳感器類似，但比圖像傳感器更復雜，它包含2個或者更多快門，用來在不同時間採樣反射光線。因爲這種原因，TOF芯片像素比一般圖像傳感器像素尺寸要大得多，一般100um左右。照射單元和TOF傳感器都需要高速信號控制，這樣才能達到高的深度測量精度。比如，照射光與TOF傳感器之間同步信號發生10ps的偏移，就相當於1.5mm的位移。而當前的CPU 可到3GHz，相應得時鐘週期是300ps，則相應得深度分辨率爲45mm。運算單元主要是完成數據校正和計算工作，通過計算入射光與反射光相對相移關係，即可求取距離信息。
TOF的優勢：與立體相機或三角測量系統比，TOF相機體積小巧，跟一般相機大小相去無幾，非常適合於一些需要輕便、小體積相機的場合。TOF相機能夠實時快速的計算深度信息，達到幾十到100fps。TOF的深度信息。而雙目立體相機需要用到複雜的相關性算法，處理速度較慢。TOF的深度計算不受物體表麪灰度和特徵影響，可以非常準確的進行三維探測。而雙目立體相機則需要目標具有良好的特徵變化，否則會無法進行深度計算。TOF的深度計算精度不隨距離改變而變化，基本能穩定在cm級，這對於一些大範圍運動的應用場合非常有意義。
二、TOF分類
TOF法根據調製方法的不同，一般可以分爲兩種：脈衝調製（Pulsed Modulation）和連續波調製（Continuous Wave Modulation）。
飛行時間法深度測量基本原理示意圖
（一）脈衝調製
脈衝調製方案的原理比較簡單，如下圖所示。它直接根據脈衝發射和接收的時間差來測算距離。
光脈衝法工作原理示意圖
脈衝調製方案的照射光源一般採用方波脈衝調製，這是因爲它用數字電路來實現相對容易。接收端的每個像素都是由一個感光單元（如光電二極管）組成，它可以將入射光轉換爲電流，感光單元連接着多個高頻轉換開關（下圖的G0，G1）可以把電流導入不同的可以儲存電荷(下圖S0，S1)的電容裏。
相機上的控制單元打開光源然後再關閉，發出一個光脈衝。在同一時刻，控制單元打開和關閉接收端的電子快門。接收端接收到的電荷S0被存儲在感光元件中。
然後，控制單元第二次打開並關閉光源。這次快門打開時間較晚，即在光源被關閉的時間點打開。新接收到的電荷S1也被存儲起來。具體過程如下圖所示。
因爲單個光脈衝的持續時間非常短，此過程會重複幾千次，直到達到曝光時間。然後感光傳感器中的值會被讀出，實際距離可以根據這些值來計算。
記光的速度爲c，tp爲光脈衝的持續時間， S0表示較早的快門收集的電荷， S1表示延遲的快門收集的電荷，那麼距離d可以由如下公式計算：
最小的可測量距離是：在較早的快門期間S0中收集了所有的電荷，而在延遲的快門期間S1沒有收集到電荷，即S1 = 0。代入公式會得出最小可測量距離d=0。
最大的可測量的距離是：在S1中收集了所有電荷，而在S0中根本沒有收集到電荷。然後，該公式得出d= 0.5 x c × tp。因此最大可測量距離是通過光脈衝寬度來確定的。例如，tp = 50 ns，代入上式，得到最大測量距離d = 7.5m。
優點：
測量方法簡單，響應較快
由於發射端能量較高，所以一定程度上降低了背景光的干擾
缺點：
發射端需要產生高頻高強度脈衝，對物理器件性能要求很高
對時間測量精度要求較高
環境散射光對測量結果有一定影響
（二）連續波調製
實際應用中，通常採用的是正弦波調製。由於接收端和發射端正弦波的相位偏移和物體距離攝像頭的距離成正比(見後面推導)，因此可以利用相位偏移來測量距離。
連續波調製原理示意圖
連續波調製的測量原理相對脈衝調製來說複雜一些，我們以最常用的連續正弦波調製來推導一下測量的原理。
連續正弦波調製測量方法示意圖
連續正弦波調製測量方法，具體的推導過程如下。序號1-9對應下圖的公式1-9。
假設發射的正弦信號s(t)振幅是a，調製頻率是f
經過時延 △t後接收到的信號爲接收r(t)，衰減後的振幅爲A，強度偏移（由環境光引起）爲B
四個採樣時間間隔相等，均爲T/4
根據上述採樣時間可以列出四個方程組
從而可以計算出發射和接收的正弦信號的相位偏移△φ
據此可以根據（6）中公式計算物體和深度相機的距離d
接收信號的衰減後的振幅A的計算結果
接收信號強度偏移B的計算結果，反映了環境光
A, B的值間接的反應了深度的測量精度，深度測量方差可以用公式9近似表示。
連續正弦波調製公式推導
優點：
相位偏移（公式5）中的(r2-r0)和(r1-r3)相對於脈衝調試法消除了由於測量器件或者環境光引起的固定偏差。
可以根據接收信號的振幅A和強度偏移B來間接的估算深度測量結果的精確程度（方差）。
不要求光源必須是短時高強度脈衝，可以採用不同類型的光源，運用不同的調製方法
缺點：
需要多次採樣積分，測量時間較長，限制了相機的幀率
需要多次採樣積分，測量運動物體時可能會產生運動模糊。
三、總結
目前的消費級TOF深度相機主要有：微軟的Kinect 2、 MESA 的 SR4000 、Google Project Tango 中使用的PMD Tech 的TOF深度相機等。這些產品已經在體感識別、手勢識別、環境建模等方面取得了較多的應用，最典型的就是微軟的Kinect 2。
TOF深度相機對時間測量的精度要求較高，即使採用最高精度的電子元器件，也很難達到毫米級的精度。因此，在近距離測量領域，尤其是1m範圍內，TOF深度相機的精度與其他深度相機相比還具有較大的差距，這限制它在近距離高精度領域的應用。
但是，從前面的原理不難看出，TOF深度相機可以通過調節發射脈衝的頻率改變相機測量距離；TOF深度相機與基於特徵匹配原理的深度相機不同，其測量精度不會隨着測量距離的增大而降低，其測量誤差在整個測量範圍內基本上是固定的；TOF深度相機抗干擾能力也較強。因此，在測量距離要求比較遠的場合（如無人駕駛），TOF深度相機具有非常明顯的優勢。
四、TOF相機公司網址：
<1>MESA公司：SR4000
官網：www.mesa-imaging.ch
<2>PMD公司：CamCube3.0
官網：www.pmdtec.com
<3> Canesta公司：XZ422
<4> Fotonic公司
官網：http://www.fotonic.com/content/Company/Default.aspx
轉自：
【深度相機系列二】深度相機原理揭祕--飛行時間（TOF）
https://blog.csdn.net/electech6/article/details/78349107
深度相機之TOF初探
https://blog.csdn.net/figo829/article/details/8560673
