（每日一讀2019.10.19）基於移動平臺的激光雷達點雲投影到相機圖像上的不確定性估計

原論文：pdf

摘要

結合多傳感設備以實現高級的感知能力是自動駕駛汽車導航的關鍵要求。傳感器融合用於獲取有關周圍環境的豐富信息。攝像頭和激光雷達傳感器的融合可獲取精確的範圍信息，該信息可以投影到可視圖像數據上。這樣可以對場景有一個高層次的認識，可以用來啓用基於上下文的算法，例如避免碰撞更好的導航。組合這些傳感器時的主要挑戰是將數據對齊到一個公共域中。由於照相機的內部校準中的誤差，照相機與激光雷達之間的外部校準以及平臺運動導致的誤差，因此這可能很困難。在本文中，我們研究了爲激光雷達傳感器提供運動校正所需的算法。由於不可能完全消除由於激光雷達的測量值投影到同一里程計框架中而導致的誤差，因此，在融合兩個不同的傳感器時，必須考慮該投影的不確定性。這項工作提出了一個新的框架，用於預測投影到移動平臺圖像幀（2D）中的激光雷達測量值（3D）的不確定性。所提出的方法將運動校正的不確定性與外部和內部校準中的誤差所導致的不確定性相融合。通過合併投影誤差的主要成分，可以更好地表示估計過程的不確定性。我們的運動校正算法和提出的擴展不確定性模型的實驗結果通過在電動汽車上收集的真實數據進行了演示，該電動汽車配備了可覆蓋180度視野的廣角攝像頭和16線掃描激光雷達。

主要貢獻

（1）提出一種爲激光雷達到攝像機投影問題生成準確一致的不確定性估計的方法。
（2）提出了運動校正錯誤的公式，包括平臺在給定時間範圍內的平移和旋轉方差。
（3）在基於校準參數的不確定性來估計激光雷達對圖像投影的不確定性的基礎上，結合運動校正引入的不確定性以及其他典型的校準誤差，以提供可靠的不確定性估計。

實驗平臺與實驗介紹

圖1.移動實驗平臺。（a）展示了車輛的前部，（b）展示了VLP-16激光雷達和前向三個GMSL攝像機的安裝位置。標籤R，C和L分別代表右，中和左攝像機

圖2.（a）和（b）分別爲激光點在圖像像素座標系的u和v方向上中的移動

圖3.激光雷達對靜態平臺的相機投影不確定性。（a）和（b）分別代表沿u和v軸的像素座標的不確定性，（c）爲不確定度顯顏色圖

圖4.在校園內正常行駛期間轉彎速率的直方圖

相機標定

在使用廣角相機時，由於鏡頭中存在明顯的畸變，外參標定是一個挑戰。由於每次獲取數據的獨特性，同時執行內外參標定的工具可能會提供錯誤的結果。爲了解釋高維度的失真，標定板需要注意靠近相機去進行採樣，以及覆蓋整個視野。特別是，角部的失真最大，而內參標定需要這些區域的高質量樣本來生成一組精確的參數。與本徵校準過程相反，外部校準需要在棋盤離相機相當遠的位置以及在各種不同的範圍內採樣，以便相機和激光雷達都能觀察到棋盤。爲此，我們首先利用Matlab攝像機標定器計算攝像機的內參數，選取五個畸變係數模型，得到攝像機矩陣K和畸變係數D，然後將這些內參數應用到攝像機的原始圖像中，然後進行外標定。在本文中，我們使用autoware校準工具箱來校準激光雷達和每個相機的幀。將激光雷達點投影到廣角相機圖像中時，圖像邊緣的失真會在投影中引起噪聲。由於圖像邊緣的極度失真，超出相機水平視野的點在投影中扭曲。因此，在將變換應用到像素座標幀之前，確保每個激光雷達點都在相機的視野內（在相機座標幀中）是很重要的。

運動矯正

當車輛移動時，使用[17]中描述的方法對激光雷達點進行校正。這一過程需要精確的基於里程計的變換和相機與激光雷達之間的適當時間同步。Velodyne ROS激光雷達驅動器爲掃描的各個部分提供時間戳。驅動器發佈的每一次全旋轉激光雷達掃描都被分成75個包，每個包都包含自己的時間戳。出於計算的原因，假設在所發佈的時間戳中觀察到對應於全旋轉掃描的大約5度的每個分組中的所有點。我們一次考慮一個包，並使用里程框架進行校正和對齊。這個假設很重要，因爲它使算法能夠實時運行。我們在此定義給定圖像$P_{lc}$的校正激光雷達點：
$P_{lc}=T_{cam}^{veh}T_v^{\Delta_{cl}/\Delta_0}T_{veh}^{lid}P_l$
$P_l$是雷達的數據包中的3D激光點，$T_{lid}^{veh}$是雷達座標系到車體座標系的固有外參。$\Delta_0$是連續讀取兩次編碼器數據的時間間隔。∆cl = velodyne數據包的時間戳-圖像時間戳。$T_v$代表平臺自身在兩次編碼器數據讀取期間的絕對運動。$T_v^{\Delta_{cl}/\Delta_0}$代表相機時間戳-激光雷達時間戳的時間間隔用兩次編碼器測量的位移的間隔的速度進行代替（這裏的表述有些繞口）。
上面等式中的T都是4X4的變換。

不確定度模型

本文的主要貢獻是相機和激光雷達數據的一致性和可靠性融合。這結合了攝像機的內在校準、攝像機和激光雷達之間的外在校準以及激光雷達點的運動校正所產生的不確定性。將激光雷達座標系中的點$P_l=[x;y;z]$投影到圖像像素座標系中的$P_c=[u；v]$。本文根據標定參數和運動校正參數估計了該變換的不確定度。攝像機的校準可以使用離線或在線技術進行。推導了一種基於雅可比的不確定性模型，用於融合各種不確定性估計。基於jacobian的不確定性模型的主要優點是，它可以與任何平臺一起使用，而不依賴於用於執行相機校準和運動校正的特定技術。

實驗結果與結論

圖5.以30 km / h的速度行駛時，激光點投射到圖像上。根據點在像素座標系中沿u和v軸所產生的方差，對點進行着色。左圖是從左相機拍攝的，右圖是中央相機的圖像的一部分

圖6.（a）中的運動校正前和（b）中的運動校正後的圖像比較。以每個投影點爲中心的紅色橢圓表示真實點所在的區域，可能性爲95％

圖7. 直線運動（藍色）和旋轉運動（綠色）的投影激光雷達座標的誤差平方估計（EES）值分佈。紅線代表95％X2(卡方分佈)滿足置信區間，圖中樣本個數爲865。

結論和未來的工作

在本文中，我們提出了一種準確的將3D激光雷達點投影到2D攝像機圖像幀的不確定性估計方法。該方法考慮了由平移和旋轉運動校正引起的不確定性。所提出的框架使得能夠合併運動校正中的誤差，以及其他不確定性源，例如由外部和固有校準引入的那些不確定性。運動校正過程中的不確定性使用車輛兩次里程測量值之間的線性位移和角度位移的方差來表示。然後，使用雅可比方法將考慮所有誤差源的不確定性投影到圖像像素幀中。一整套綜合的實驗結果證明了不確定度估計的準確性。實驗是在配備有激光雷達，攝像頭，GPS和IMU傳感器並在大學校園環境中四處行駛的電動汽車上進行的。投影不確定性的一致估計對於組合激光雷達和相機數據的數據融合算法至關重要。