毫米波雷達和視覺融合簡記

寫在前面：
1、按照信息抽象的五個層次，融合可分成五個級別，即：檢測級融合、位置級融合、屬性（目標識別級融合）、態勢評估和威脅評估。
2、因本人還沒學會在博客中插入流程圖、圖表等，因此本文均採用手畫。

毫米波雷達和攝像頭概述

毫米波雷達和視覺傳感器融合

時間融合

空間融合

一、毫米波雷達和攝像頭概述

首先，先簡要介紹一下毫米波雷達和攝像頭的測距原理：

毫米波是指工作頻率在 30～100GHz，波長在1～10mm之間的電磁波。開放給民用的波段爲24GHZ（釐米波）、60GHZ、77GHZ。而77GHZ是規劃給汽車防撞雷達，檢測距離大於160m，可全天候工作。
毫米波雷達主要是通過對目標物發送電磁波並接收回波來獲得目標物體的距離、速度和角度。可以用來進行測距、測速、測角度、目標有無的檢測。

而視覺測距原理簡單說來就是先對視野裏的目標進行檢測（識別），然後根據攝像頭的參數（測距前需先對攝像頭進行內外參數標定，具體標定原理可參考張正友老師的張世標定法，Tsai標定法，本質上是一樣的，即映射。），將檢測到的目標的圖像座標轉換成世界座標，由此來估算目標的世界距離。

如圖1所示，爲視覺及毫米波雷達傳感器的優缺點簡要對比：

基於視覺及毫米波傳感器各自的優缺點，取長補短，將兩種傳感器進行融合是當前各人工智能領域（例如無人駕駛）的主流應用。

二、毫米波雷達和視覺傳感器融合

對於視覺和毫米波雷達的融合，技術上的主要難點在於攝像頭和雷達採樣目標點的匹配、融合、多目標的關聯等多方面的因素。首要考慮的就是兩種傳感器之間的時間、空間同步問題。分別爲時間融合和空間融合。

1. 時間融合
   利用毫米波雷達和視覺傳感器進行數據採集 ，需要在時間上進行同步，即實現時間上的融合。兩種傳感器的採樣頻率不同，在此，我們以毫米波雷達採樣頻率爲25hz，攝像頭採樣頻率爲30fps爲例，即，雷達數據採樣間隔時間爲25ms，每秒40幀；攝像頭採樣間隔約爲33.33ms，每秒30幀。爲了保證數據的可靠性，以採樣週期長的傳感器即攝像頭的採樣速率爲基準，向下兼容的方式進行時間數據融合，以保證毫米波雷達和攝像頭數據時間上的同步。如圖2所示 ，爲毫米波雷達和視覺傳感器時間融合示意圖。
   

2. 空間融合
   
   毫米波與視覺傳感器的空間融合，簡單地說，就是將兩種傳感器基於各自座標系下的測量值轉換到同一個座標系上去，即，座標系的統一。因此建立世界座標系、毫米波雷達座標系、相機座標系、圖像座標系以及像素座標系之間的轉換關係，是實現毫米波雷達和視覺傳感器數據的空間融合的關鍵，示意圖如圖3所示。
   該同步可由傳感器的聯合標定實現。

座標系之間的關係示意圖如圖4所示，座標系的統一，無外乎RT矩陣的變換關係，在此不進行數學推導展開。