RGB-D對紅外熱像儀和毫米波雷達標定
Extrinsic Calibration of Thermal IR Camera and mmWave Radar by Exploiting Depth from RGB-D Camera
摘要
儘管RGB相機和激光雷達用途廣泛，但據報道，在低能見度的環境下容易受到火災或煙霧的影響。爲了解決這個問題，我們引入了一個由紅外熱像儀和毫米波雷達組成的傳感器系統。在此過程中，需要在兩個傳感器之間進行外部標定，而雷達的14位溫度和稀疏距離測量的標定是一個挑戰。提出了一種利用RGB-D傳感器作爲深度優化中介的多模態標定方法。爲了驗證相對位姿估計的正確性，我們提出了將雷達深度投影到紅外相機座標系上的定性結果。
主要貢獻:使用LM算法通過RGB-D的深度信息進行紅外相機與毫米波雷達的外參標定。
圖1 外參標定結果 （b）在紅外熱圖像上投影深度圖像（c）
利用估計的外部參數在紅外圖像上疊加毫米波雷達點。
K是紅外相機的內參，u是像素點，下表t，c，r分別代表紅外相機、RGBD相機以及毫米波雷達。
爲了找到紅外相機和毫米波雷達之間的外部標定參數，我們在紅外圖像上得到了N組數據在每個RGB-D相機和毫米波雷達深度點上最小值、最大值以及中間值。對N個元素的損失函數進行優化，如（2）所示。
相關技術，可以參考另外一篇文章
Robust Intrinsic and
Extrinsic Calibration of RGB-D Cameras
論文地址：https://arxiv.org/pdf/1701.05748.pdf
本文的主要貢獻如下：
•一般和實驗支持的測量錯誤模型，很好地描述了深度傳感器類型統一。
•空間/參數不失真地圖，一種緊湊有效的方法結構光深度傳感器。
•一個新的優化框架，旨在估計攝像機深度傳感器的剛性位移以及描述系統誤差的參數模型關於深度測量。
•擬議方法的開源實現，集成在ROS（機器人操作系統）內框架[7]。
代碼以及校準過程可在以下網站上獲得：http://iaslab-unipd.github.io/rgbd校準
