二維攝像 + 三維重建法 = 深度視覺攝像
二維攝像
- 結構光方案
- 優點：
- 技術成熟；
- 價格低廉。
- 缺點：
- 容易受光照影響，室外環境及夜間環境基本不能使用;
- 無法得到深度信息。
- 優點：
三維重建法
- 探針法
- 時期：早期採用的
- 特點：簡單粗暴
- 原理：直接手拿定位探針，在物體表面移動，一個點一個點地測座標
- 直接測距法
- 超聲波法
- 原理：使用特定的人造聲源，對物體表面逐點用聲程差來測距
- TOF法
- 全稱：Time of flight，即飛行時間法
- 原理：採用主動光探測方式，使用特定的人造光源（如紅外線），通過入、反射光探測，對物體表面逐點用光程差來測距
- 運用：
- 物流行業：通過 TOF 相機迅速獲得包裹的拋重（即體積），來優化裝箱和進行運費評估
- 安防和監控：進行 Peoplecounting 確定進入人數不超過上限；通過對人流或複雜交通系統的counting，實現對安防系統的統計分析設計；敏感地區的檢測對象監視；機器視覺：工業定位、工業引導和體積預估；替代工位上佔用大量空間的、基於紅外光進行安全生產控制的設備；
- 機器人：在自動駕駛領域提供更好的避障信息；機器人在安裝、質量控制、原料揀選應用上的引導；
- 醫療和生物：足部矯形建模、病人活動/狀態監控、手術輔助、面部3D 識別；
- 互動娛樂：動作姿勢探測、表情識別、娛樂廣告
- 優點：
- 視角更寬；
- TOF相機體積小巧，跟一般相機大小相去無幾，非常適合於一些需要輕便、小體積相機的場合；
- TOF相機能夠實時快速的計算深度信息，達到幾十到100fps；
- TOF的深度計算不受物體表麪灰度和特徵影響，可以非常準確的進行三維探測；
- 深度計算精度不隨距離改變而變化，基本能穩定在cm級，這對於一些大範圍運動的應用場合非常有意義。
- 缺點：
- 深度圖像分辨率較低，做一些簡單的避障和視覺導航可以用，但是要求精度高些的場景就不行；
- 測量距離較常規測量儀器短，一般不超過 10 米；
- 測量結果受被測物性質的影響；
- 大多數機器的測量結果受外界環境干擾較爲明顯，尤其是受外界光源擾,所以常只用於室內；
- 系統誤差及隨機誤差對結果影響明顯，需要進行後期數據處理；
- 由於傳感器芯片並不成熟，成本很高，實現量產困難。
- 超聲波法
- 雙目視覺法
- 原理：通過左右立體像對匹配後，再經過三角測量法來進行立體探測（兩角夾一邊 -> 確定一個三角形 -> 該三角形的高即爲影像點的深度）
- 運用：大疆無人機用其實現其無人機避障功能
- 優點：
- 純雙目只需使用兩顆普通PRG攝像頭，並不涉及光學系統，成本低；
- 測量距離長。
- 缺點：
- 需要目標具有良好的特徵變化，否則會無法進行深度計算。
- 雙RGB攝像頭的純雙目攝像機，繼承了普通RGB攝像頭的缺點：在昏暗環境下以及特徵不明顯的情況下並不適用；
- 雙目立體相機需要用到的算法複雜度高，難度很大，處理芯片需要很高的計算性能，處理速度較慢；
- 雙目相機體積較大。
- SFM法
- 全稱：Structure from Motion
- 原理：輸入是一段motion或者一時間系列的2D圖羣，這裏不需要任何相機的信息。在2D圖之間找到了匹配的地方，可以推斷出相機的各項參數，從時間系列的2D圖像中推算3D信息，通過匹配點之間的視差得到相對的深度信息。
- 運用：“一日之內建好羅馬”項目
綜述——深度視覺攝像
國內三大主流深度攝像頭方案
- (單目)結構光
- 傳統攝像機
- 雙目視覺(雙目可見光/雙目RGB)
- 雙目攝像機
- TOF飛行時間法
- 體感攝像機
三種主流深度檢測技術比較
一些具體運用的demo
雙目攝像機用於垂直高度過濾技術：
既能準確計算進出人數，又能有效過濾掉干擾物體（如推車、行李箱、人員徘徊、擁擠及軀體重疊、人員經過未進入等，另外用戶也需要有特殊應用，比如身高低於1.2米的兒童進出不計數等），使得客流統計準確率號稱可以達到97%以上。
雙目立體視覺技術利用雙攝像頭攝取兩幅圖像的視差，構建三維場景，在檢測到目標後，通過計算圖像對應點間位置偏差，獲取目標的三維信息，並能以三維立體視角精確區分行人和干擾物體，如推車、行李箱。
體感攝像機用於深度檢測：
以“直方圖”效果展示：
越近，則對應的像素點黃色程度越亮；越遠，則對應的像素點黃色程度越暗。
以“熱度圖”效果展示：
從近到遠，對應的像素點顏色變化爲： 紫 -> 紅 -> 橙 -> 黃 -> 綠 -> 藍
以“灰度圖”效果展示：
越近，則對應的像素點越暗；越遠，則對應的像素點越白亮。
體感攝像機用於動作檢測：
