三維成像結構光
Micro-Baseline Structured Light
論文鏈接：
http://openaccess.thecvf.com/content_ICCV_2019/papers/Saragadam_Micro-Baseline_Structured_Light_ICCV_2019_paper.pdf
摘要
我們提出微基線結構光（MSL），一種新的三維成像方法，設計用於小尺寸設備，如手機和微型機器人。MSL使用小型投影儀相機基線和低成本的投影硬件，並且可以使用計算量較小的算法恢復場景深度。主要觀察結果是，較小的基線會導致較小的差異，從而實現非線性SL圖像形成模型的一階近似。這導致了本文的關鍵理論結果：MSL方程，一種線性化的SL圖像形成方法。由於每個像素處有兩個未知量（深度和反照率），MSL方程受到約束，但可以使用局部最小二乘法有效地求解。我們從投影模式和基線等不同的系統參數來分析MSL的性能，併爲優化性能提供指導。有了這些見解，我們建立了一個原型來實驗檢驗這一理論及其實用性。
- Introduction
我們提出了一種新的SL方法，稱爲微基線結構光（MSL），它適合於這種高度受限的設備，從而打開了在小型、低功耗和低複雜度設備上部署SL的可能性。MSL在小型（微型）投影儀相機基線的約束下工作，如圖1（b）所示，基於以下觀察：小基線導致投影儀和相機像素之間的小差異。
我們的主要理論見解是，在較小的差異下，結構光圖像形成模型（在未知情況下（深度和反照率）是非線性的）可以通過一階近似線性化。這導致了一個新的線性SL約束的推導，即微基線結構光（MSL）方程，它將場景反照率和深度與測量的強度聯繫起來。
- Related Work
結構光編碼技術：
一般來說，SL技術可分爲多鏡頭和單鏡頭方法[25]。多鏡頭技術，如光條帶化[2]、灰度編碼[23]和正弦相移[3]，通過快速連續地投影多個圖案來估計形狀。這些技術可以通過計算簡單的解碼算法來恢復高精度的深度，但是需要複雜的投影設備（例如LCD、DMD），這些設備可以動態地改變投影模式，使得它們不適合動態場景和低複雜度的設備，例如手機。單次拍攝技術只投射一個模式，依賴於強度[32]、顏色[8，13]或局部鄰域中投影儀對應的編碼[9，20，14]。單模式技術非常適合動態場景；然而，這些技術通常使用計算複雜的解碼算法，需要專用硬件來實現實時性能。有一些單鏡頭方法具有相對簡單的解碼（例如傅里葉變換輪廓術（FTP）[30]），但它們對場景的紋理和深度做出了強有力的假設。
實時SL系統：
有一些方法可用於執行高速（1000 fps）SL，或者使用無法移植到移動設置的高成本高速攝像機[12]，或者最近使用基於學習的方法，如超深度[24]和UltraTereo[7]。有了足夠的數據，以及Kinect[1]等專用硬件，這些方法被證明是快速和準確的。
我們的目標不同
我們的目的是發展一種簡單的，解析的，封閉形式的解碼方法，利用傳統的SL方程在小基線約束下的微分公式。未來一個有趣的研究方向是使用數據驅動技術來增強MSL，以潛在地進一步提高精度和速度。
- Structured Light Preliminaries
我們首先描述SL系統的圖像形成模型，以瞭解投影相機基線在結構光系統中的作用。 圖像形成模型。考慮如圖1（b）所示的投影儀-攝像機對。我們假設一個矩形投影儀或攝像機配置，其中投影儀和攝像機中心水平移動B個單位。我們進一步假設投影儀和相機具有相同的空間分辨率和焦距f。這些假設只是爲了便於說明；所提供的分析和技術對於一般配置和系統參數是有效的。
在下一節中，我們設計了一種技術，該技術要求投影一個模式（但捕獲兩個圖像），但計算成本較低，因此可以在功率受限的系統上高效地實現。此外，儘管傳統的SL系統使用儘可能大的基線，但所提出的技術是針對小尺寸器件而設計的，該器件只允許投影儀和相機之間有一個小（微）基線。
- Micro-baseline Structured Light
與微分法的關係
上述分析與最近爲光度立體設計的差分方法[5]和基於光場的運動估計[18]有相似之處。這些方法也線性化了一個本來很難解決的非線性問題，從而產生了易於處理的分析和解決方案。本着同樣的精神，MSL可以被看作是SL的一個差分版本。
與光流的關係
值得注意的是，MSL矩陣類似於LucasKanade tracker[16]中的結構張量。在立體視覺的背景下，視差/光流的類似線性化和2×2矩陣的形成已經被探索過[6，21]。結構張量和MSL矩陣的一個關鍵區別是MSL矩陣只依賴於投影模式及其導數。因此，MSL矩陣的可逆性只能根據投影模式的性質來分析，而不能根據場景來分析。
- Invertibility of MSL Matrix
這個命題指出，通過投影一個不是常數或指數函數的模式，理論上保證MSL方程有解。接下來，我們討論解的穩定性，這是存在噪聲時的一個重要考慮因素。因此，當投影模式是週期性的時，MSL方程的解是穩定的。模式週期可能與分析窗口不對齊。然而，在實踐中，如我們的實驗所示，深度估計對小的偏差是穩健的。
- Handling Texture Edge
爲了保持計算簡單，我們假設反照率只是引導圖像的縮放版本。圖2通過計算高紋理對象的深度說明了引導MSL相對於標準MSL的優勢。導頻MSL極大地提高了基於MSL的深度恢復精度，幾乎沒有計算開銷，從而擴展了所提出方法的範圍。此後，我們的所有結果都是使用引導MSL方法計算的。
- Practical Considerations for MSL
圖3（b）說明了作爲一些代表性模式週期的基線函數的精度。顯然，與最小誤差相對應的週期隨着基線的增大而增大。
小基線確保一階近似成立，但遭受三角測量誤差[31]。另一方面，大基線需要一個大窗口，因此局部不變假設可能不成立。圖4顯示了作爲基線函數的精度模擬。對於此分析，給定基線，我們選擇達到該基線的最佳精度的模式週期。我們觀察到，MSL在一組不同的例子中始終達到8-30mm之間的最高精度。在實際應用中，參數的準確選擇取決於幾個附加因素，如投影儀的允許分辨率、相機和投影儀的散焦。我們發現15mm的基線導致了最精確的結果，因此我們的實驗室原型與此基線相符合（見圖6）。
在什麼樣的設備約束下，MSL比現有的SL技術更合適？MSL的目標是具有受限的外形、低硬件複雜度和計算資源的平臺，因此不應被視爲現有測距硬件的通用替代方案。例如，如果一個系統能夠投射多個模式，那麼相移[3]即使在窄基線下也能精確工作，如圖5所示。同樣，如果一個系統有足夠的計算資源和/或大基線，現有的單發技術[20、8、33、1、7、24]可以達到比MSL更高的精度。
此外，如果該系統配備了兩個攝像機，則可以依靠精確的立體匹配技術[17]來獲得對應關係，儘管計算要求很高。然而，當所考慮的設備體積小，硬件和計算能力有限時，MSL承諾提供一個重量輕的解決方案。圖5說明，MSL比小於100毫米的基線的塊匹配更精確，同時速度也更快。雖然具體數字取決於具體配置，但當基線很小且只能投影單個圖案時，MSL是合適的。
- Experiments
硬件設置
我們的設備包括一臺1280×720 DLP投影儀（AAXA technologies），f=8mm和一臺2048×1536機器視覺攝像機（Basler acA2040120uc），f=12mm。不同的焦距和像素大小導致相機圖像中的投影儀圖形大小爲2.5倍。攝像機放置在投影儀上方，水平基線爲15mm，如圖6所示。該系統還具有沿垂直方向的基線，這是由於機械約束而無法避免的。然而，由於我們提出了一個垂直對稱的模式，因此只考慮水平基線和差異；垂直基線不影響水平差異的計算。
基本事實
我們使用五個頻率的相移碼捕獲地面真實深度信息，對應於1280px、100px、50px、20px和10px的模式週期。低頻被用來展開高頻相位，這使得亞像素級的視差精確估計成爲可能。
手機上的運行時比較
爲了評估實時性，我們通過投影ran 800mm dom點模式，將MSL與具有微基線的立體塊匹配算法進行了比較。結果如圖7所示。請注意，投影模式以及解碼策略沒有針對窄基線進行優化；我們在這裏的重點是比較時序複雜性而不是準確性。圖5（b）顯示了Android設備googlepixel2xl上不同圖像分辨率的運行時與現有的基於匹配的方法（如塊匹配和使用OpenCV[4]實現的半全局方法（SGBM））之間的比較。塊匹配和半全局匹配3MP圖像的運行時間分別爲133ms和1s。相比之下，MSL在27ms時的速度要快得多，這表明MSL適合於移動平臺。
視頻序列
輕型SL技術的一個優點是能夠以視頻速率計算深度。爲了驗證這一點，我們以每秒30幀的速度拍攝了一系列圖像，用於視頻率3D成像。交替幀被捕獲，沒有任何模式用作指導圖像。該系統以15fps的速度輸出深度視頻和無模式視頻，無需計算（無需模式-場景分離），通常用於增強現實。我們在圖8中顯示了三個具有代表性的深度框架。請注意，深度變化在各種手勢中都清晰可見。更重要的是，用於估計深度的計算開銷非常小，可以實時輸出，這使得MSL成爲移動系統的一項引人注目的技術。
實驗評價
圖9顯示了在幾何和紋理複雜度不同的幾個場景中基於MSL的3D恢復結果。所有的實驗都用不同時期的三角形模式捕捉到，展示了MSL可以使用的各種場景。第一行顯示具有各種紋理複雜性的平面對象的結果。人體模型場景演示了紋理有限的非平面場景的MSL。注意三維模型如何顯示前額和臉頰的曲線。最後，bas地形場景顯示了小深度範圍但高空間複雜度的精度。通過顯示6px週期的圖形，計算了bas地形場景的深度圖，獲得了較高的空間分辨率。請注意，在3D模型中精確地重建了攝像機的大腿。在所有情況下，深度誤差小於8毫米。
失敗案例
由於MSL是一種局部加窗估計技術，因此計算出的深度邊緣處的深度被平滑，從而導致粘附到對象邊界（參見圖9中的平面場景）。高紋理對象和複雜幾何體（如精細結構）的性能也會因違反局部恆定性假設而降低。其次，制導MSL假設窗口內的反照率是環境光照下圖像的縮放版本。如果環境照明、投影儀照明或反射或表面法線的光譜有很大變化，從而導致僞影，則此假設不成立。第三，MSL依賴於亞像素精度的強度-視差，但容易受到間接照明的影響，因此在相互反射或次表面散射下無法很好地工作（見圖10）。
- Discussion
我們提出了一種新的SL技術，它可以在窄基線、簡單、低成本的硬件和低計算能力的限制下運行。通過對投影相機對應方程的線性化，我們證明了使用局部最小二乘法可以有效地估計深度。爲投影圖案的設計提供了理論和實踐指導。MSL能夠用有限的硬件進行深度計算，使其成爲手機、無人機、微型機器人和內窺鏡上的理想距離成像技術。