基於LiDAR的小型無人機的檢測和跟蹤

分享一篇要錢才能下載的文章，花了我17刀，肉疼呀。

《LiDAR-based detection and tracking of small UAVs》

摘要

  由小型無人機引起的已報告事件的數量，無論有意還是無意，都在增加。爲了避免將來發生此類事件，必須能夠檢測到無人機。衆所周知，LiDAR傳感器（例如激光掃描儀）是用於物體檢測和跟蹤的適當傳感器。

  在本文中，我們擴展了現有的基於LiDAR的方法，用於跟蹤和檢測（低）飛行中的小型物體，例如商用微型/微型無人機。我們證明，只要無人機的運動與LiDAR傳感器在掃描性能，範圍和分辨率方面的能力相對應，就可以通過所提出的方法來檢測無人機。可以進一步分析被跟蹤對象的軌跡以支持分類，這意味着可以通過識別典型的運動模式來區分UAV和非UAV對象。通過精確預測無人機的運動，可以實現對無人機的穩定跟蹤。除了對目標位置的這種精確預測之外，還必須實時實現對象檢測，跟蹤和分類。

  爲了進行算法開發和性能分析，我們分析了在現場試驗期間獲取的LiDAR數據。由安裝在汽車上的四個360°LiDAR傳感器組成的系統觀察到了幾種不同的微型/微型無人機。使用這種特定的傳感器系統，結果表明，所提出的方法可以檢測和跟蹤無人機，從而可以保護汽車免受半徑最大爲35 m的無人機的威脅。

關鍵字：

3D對象檢測，360°LiDAR掃描，無人機檢測，無人機跟蹤，掃描線分析

介紹

  易於操作的低成本無人機在全球範圍內的使用會導致問題日益嚴重，從誤導性玩具到濫用無人機從事間諜活動或其他敵對活動。特別是對於諸如機場，公司辦公場所或軍事設施等敏感區域，需要用於檢測，跟蹤和監視無人機的選項。

  小巧的無人機不僅使它們的檢測和跟蹤成爲一項複雜的任務。它們的高加速能力，較高的最高速度以及在所有三個維度上均具有出色的機動性，這使得難以跟蹤無人機或可靠地預測其飛行路徑。但是，大多數已知的標準監視技術都可以應用於無人機檢測：

•   在可見光[1] [2]和SWIR [3]光譜中，攝像機有多種方法。對於所有基於相機的算法，主要挑戰是將物體與背景分離。此外，檢測結果主要取決於圖像的質量，例如，分辨率和對物體的聚焦。

•   用於檢測（飛行）物體的另一種成熟技術是雷達傳感器的使用。 Noetel等。 [4]描述了兩種類型的毫米波雷達，用於檢測和跟蹤小型無人機。雷達對無人機的探測主要受到大多數無人機的低雷達截面的限制。

•   Christnacher等人描述了用聲學傳感器檢測無人機。在[5]中。基於聲學天線陣列，可以連續測量飛行中的無人機的聲學特徵。通過這種硬件設置，可以檢測和跟蹤各種各樣的UAV聲音（高達6.8 kHz）。

•   Christnacher等人提出了採用門控觀察形式的主動成像技術進行無人機檢測和跟蹤。 在[5]中。 與使用CCD攝像機成像相比，選通觀看的主要優點是可以在對象周圍設置選通並抑制前景和背景。 爲此，必須首先知道到無人機的距離。

•   通過應用由雷達和聲學特徵檢測與跟蹤以及有源和無源光學識別組成的多傳感器網絡，研究了一種多模式傳感方法[6] [7] [8] [9]。

•   此外，首次調查考慮了掃描LiDAR（光檢測和測距）系統的應用[8] [10]。

  事實證明，由LiDAR傳感器獲取的3D點雲是物體檢測的良好基礎，例如，對於人[11]，汽車[12]或輪船[13]。 當今可用的掃描LiDAR系統代表了可接受的分辨率，可實現的刷新率和視野（FOV）之間的折衷方案。 大多數LiDAR傳感器的稀疏分辨率似乎使其非常不適用於無人機檢測。 另一方面，基於LiDAR的檢測方法顯示出許多優點：將對象從前或背景中分離相對容易，檢測到對象後立即知道其確切3D位置，並且傳感器不依賴於日光 條件。

  在本文中，我們評估了不同LiDAR傳感器在檢測無人機中的潛力，並研究了相對於檢測範圍的檢測性能。 爲了評估不同類型無人機的能見度，顯示了一個實驗性LRCS調查的示例。

2. 數據集

  在我們的實驗中，我們使用了與測量儀器MODISSA [14]一起在聖路易斯大學（ISL）和弗朗霍夫高頻物理與雷達技術研究所合作進行的聯合田間試驗中獲得的數據 胎心率[9]。

2.1傳感器平臺

  圖1所示的車輛配備了多個掃描LiDAR傳感器，用於全方位監控的各種攝像機，雲臺上的EO和SWIR攝像機以及慣性測量單元（IMU）和兩個GNSS（GPS，GLONASS）接收器。我們將兩個安裝在車輛前部車頂上的LiDAR傳感器Velodyne HDL-64E與安裝在汽車後部車頂上的兩個LiDAR傳感器Velodyne VLP-16 PUCK結合使用。每臺HDL-64E能夠在高達120米的範圍內每秒執行130萬次測量。其垂直視場角爲26.9°，分爲64條掃描線，因此垂直分辨率爲0.4°。由於傳感器頭旋轉，在10 Hz的典型旋轉頻率下，水平視場覆蓋360°，分辨率約爲0.17°。這意味着一次360°掃描的每個點雲可能包含大約13萬次測量。但是，由於並非每個發射的激光脈衝都導致返回回波的檢測（例如，針對天空或水面的測量），因此所得的點雲通常較小。較小的VLP-16具有16條掃描線生成的30°垂直FOV(刷新率和視野)，導致垂直分辨率爲2°。在10 Hz的旋轉頻率下，水平分辨率約爲0.2°，並且一次360°掃描最多可以包含30,000次測量（3D點）。 LiDAR測量值的記錄是時間同步的，並且四個傳感器的幾何構圖是已知的，因此可以將四個單獨的點雲輕鬆合併到一個公共座標系中。

  兩個HDL-64E傳感器以向下傾斜25°且向外傾斜45°的方式安裝到傳感器支架上（參見圖1），VLP-16向下傾斜15°並以45°傾斜的角度安裝到傳感器支架上°向外。這種特殊的配置會導致向上方向（例如，朝向建築物外牆）的FOV增大。否則，如果將HDL-64E按照製造商的意圖水平安裝在諸如自動駕駛之類的應用中，則其FOV將覆蓋+ 2°至-25°的仰角，這對於UAV檢測是不合適的。通過我們的設置，至少在周圍的部分區域中可以實現高達+ 27°的仰角。

2.2 現場試驗

  在Baldersheim（法國）附近的試驗場進行了現場試驗。 其主要目標是獲取現實的傳感器數據，以評估不同傳感器技術對低空飛行的小型無人機（微型/微型UAV）的檢測，跟蹤和識別能力。 這些活動的另一個方面是對傳感器網絡的研究，該網絡包括小型雷達系統，分佈式聲學天線，無源/有源EO / IR成像和靜態以及車載LIDAR傳感器[9]。 傳感器車輛MODISSA既固定又移動。 在此設置中，不同類型的小型無人機（見圖2）用於不同的場景，例如升/降無人機，進近型無人機，可發動攻擊的無人機，高空巡邏的無人機，快速飛越的無人機以及 各種動作。

2.3 激光雷達截面測量

  使用LiDAR傳感器進行物體檢測的質量不僅取決於傳感器的分辨率。 物體的反射率至少同樣重要。 由於無人機體積小，結構複雜且由各種材料製成，因此我們希望量化其反射率，從而量化LiDAR傳感器的可見性。 爲此，我們檢查了激光雷達截面。

  對於LiDAR系統，由（1）中的LiDAR方程[15]定義接收到的光子數量或來自已分解目標表面的撞擊光子通量的強度。 在此，$P_T$是發射的光功率，$\sigma$是激光雷達橫截面（LRCS），$A_{illum}$和$A_{rec}$分別是照明區域和接收器表面，R是範圍。 此外，$\eta_{atm}$和$\eta_{sys}$描述了大氣和光學系統的光學傳輸效率。

  LRCS $\sigma$描述了一個相對目標尺寸，由Wyman [16]定義爲入射光輻照度H（每單位面積W）與每個球面度的總散射功率PS之比$\sigma= P_S /H$。1992年，Osche 等。 [17]建立了一種從高分辨率點雲確定LRCS的方法。 後來，Laurenzis等人。 [18] [19]已將此方法改編爲使用主動成像數據和來自計算渲染的圖像。

  在圖3中，顯示了從主動成像數據進行實驗性LRCS調查的示例。 如Christnacher等人所述，實驗是在法國德國研究所的低光隧道中使用短波紅外（SWIR）有源成像系統進行的。[5]。

  在圖3（a）中，圖像顯示了將無人機安裝在SWIR門控觀察系統前方40 m範圍內的旋轉平臺上。 在（b）中，示出了在不同旋轉角度的無人機的SWIR門控觀察圖像。 從這些圖像中，可以通過所有強度值的積分得出無人機的LRCS。 在圖3（c）中，將實驗結果與理論模型進行了比較。

  將實驗數據點（實線實心圓）校準爲彌散白色。 無人飛機在大多數方向上顯示出幾乎各向同性的橫截面，LRCS = 0.015 m2。 一些明顯的高LRCS峯值出現在0度角處。 90度 180度 270度，發生鏡面反射光。 在這裏，可以觀察到最大LRCS爲0.047平方米，是其他旋轉角度下的最大LRCS的三倍。

方法

  所提出的目標檢測和跟蹤算法利用了點雲的密集，有序結構，這些點雲與激光掃描儀的單次360°旋轉（有組織的雲）相對應。在下文中，我們稱單個掃描或幀，由n行或掃描線（對於HDL-64E，n = 64；對於VLP-16，n = 16）和m列（m取決於脈衝重複頻率和掃描儀頭的旋轉頻率）。使用Velodyne傳感器時，會生成單個幀，因此對於每個發射的激光脈衝，即使它是NaN，也會記錄一個數據值，因爲不可能進行實際測量（距離太遠，反射率低等）。由於這種有序的數據結構，類似於範圍圖像，對於每個點，可以輕鬆確定同一條掃描線內其相鄰點的範圍值。

3.1 單個360°掃描的分割

  正如我們在較早的工作[20]中所顯示的，以及從文獻[21]中所知道的，如果3D數據像上面所述的那樣被組織爲點雲，則可以進行快速的幾何3D分割，即範圍圖像的行中的相鄰像素的像素數是已知的。首先，這需要進行2D分割，只要未發現超過給定閾值的範圍變化，就可以對行的相鄰點進行聚類。所有寬度小於目標對象最大寬度的線段（這意味着至少兩個相鄰點）（對於檢查的小型UAV，我們假定最大1.2 m，見圖2）被進一步檢查爲可能的與目標相關的2D集羣。由於種類繁多（一個2D簇可能包含兩個到200個以上的點），每個傳感器都檢測到大量2D簇，其中大多數是距離較遠的粗糙地面的假象。

3.2 3D點雲和3D羣集的合併

  MODISSA的四個時間同步LiDAR傳感器以已知的固定相對方向安裝在傳感器支架上，這樣各個點雲便可以轉移到公共座標系中。因此，很容易將我們從各個分割過程中獲得的2D聚類合併到一個大型聚類集中。如果所有這些2D羣集水平重疊且不超過最大垂直距離，則將它們進一步合併爲3D羣集。 3D羣集的x-y方向上的總寬度或高度（z尺寸）大於UAV的最大尺寸。每幀3D羣集的數量通常在幾到幾百個潛在對象之間變化。假設無人機必須與場景（牆壁，樹木或地面）保持最小距離，我們發現在點雲中孤立的3D羣集，即在其直接方向上沒有或只有很少其他點的3D羣集鄰里。隔離羣集的檢測是通過一個佔用柵格來完成的，該柵格由所有四個傳感器的所有點組成，柵格大小爲0.5 m。結果，對於每幀，潛在的UAV對象的數量通常可以從數百減少到少於二十。

  由於無人機的LRCS很小（請參閱第2.3節），而且LiDAR掃描儀的分辨率有限，因此即使在短距離內，每個無人機的點數也很低。 由於這個事實，對點雲對象（剩餘的3D羣集）進行進一步的幾何分析不是很有希望。 進一步分類對象（UAV /非UAV）的更好方法是對其運動進行分析。 這需要跟蹤3D羣集。

3.3 追蹤3D點雲

  我們記錄每個Velodyne LiDAR傳感器的連續數據流，將其細分爲單個360°掃描（幀）。在最後一幀中檢測到的對象應該在當前幀中的最後一個位置或外推的下一個位置附近。爲了找到這樣的對應對象，使用第一幀的所有檢測到的對象來建立軌道列表。對於所有後續幀，將所有檢測到的3D對象的座標與軌道列表中的對象進行比較。每個新對象都以最小距離分配給軌道列表中的該對象。如果軌道列表中沒有距離閾值以下的此類對象，則將新對象設置爲新軌道。不管當前的觀察如何，對於軌道列表中的每個對象，使用卡爾曼濾波器來計算其進一步運動的預測。可以爲軌道列表中的每個對象計算一些功能，例如當前速度和整體運動。對於分類爲UAV，必須連續至少檢測3次物體，當前速度和加速度必須在實際範圍內，並且總運動量必須至少爲0.5 m。這種整體運動消除了諸如標誌或樹木部分之類的物體，它們以可接受的速度和加速度顯示出擺動運動。沒有任何移動的對象可以歸爲非UAV。運動的預測使得即使在物體保持其最後軌跡恆定的情況下，即使在一些丟失的檢測之後仍可以繼續物體的跟蹤。

實驗結果

4.1 現場試驗

  在現場試驗期間，我們記錄了8種不同情況下超過1小時的數據，其中57％由地面真相數據補充，這些數據由附在無人機或屬於無人機的GPS接收器提供。由於LiDAR傳感器的FOV受限制，因此只有很少的掃描包含UAV對象。在4704個39 476幀（12％）中檢測到UAV。爲了定量評估我們的方法（精確度和召回率），僅考慮具有地面真實性信息的方案。總體而言，應該在22 476幀中檢測到2339架無人機，這意味着該無人機位於FOV範圍內，且距離小於50 m。

4.2 檢出率

  很難給出精確的數字，例如精確度和查全率的查全率，因爲這樣的計算將需要準確的地面真實信息。無人機軌跡記錄的地面真相來自其機載GPS傳感器，但是鑑於無人機的高速運行，由於GPS讀數的更新率較低，因此數據的準確性受到限制。另一方面，由於傳感器的傾斜角度不同，我們系統中LiDAR傳感器的總體FOV相當複雜（請參閱第2.1節）。詳細地說，無人機的高度對其可檢測性至關重要。 GPS測量的高度值通常比水平值更模糊，並且在水平掃描360°時，LiDAR傳感器的垂直FOV受到嚴格限制。此外，由於我們的傳感器平臺MODISSA上的傳感器數量衆多，單個傳感器的FOV可能會受到視線內其他傳感器的限制。因此，很難確定LiDAR傳感器是否應該可以檢測到無人機（GPS高度模糊）。

  儘管地面真實信息可能不那麼精確，但我們還是計算了檢出率或查全率（真陽性（TP）除以真陽性和假陰性（FN）之和）以及精度（TP除以我們的四個LiDAR傳感器系統的TP和誤報（FP）。在此分析中，我們僅考慮具有補充的地面真實數據的那些測量。在三種情況下，應該在傳感器的FOV中看到2339架無人機，其中有1248架被正確檢測（TP）。 1091無人機可能在FOV中可見，但未檢測到（FN）。召回率估計爲53.3％，鑑於地面實況信息不完善，應將其視爲下限。爲了減少被錯誤分類爲無人機（FP）的物體數量，在分類步驟中引入了許多優化措施，尤其是具有速度和加速度評估功能的跟蹤算法。結果，僅發現了47個FP，精度可估計爲95.6％。

4.3 傳感器適用性

  以上數字是使用所有四個可用的LiDAR傳感器獲得的。但是必須考慮的是，兩種傳感器類型的數據質量在數量上有很大差異。較小的VLP-16相對便宜且易於使用，但其垂直分辨率大約是HDL-64的五倍。在12.5 m的距離內，VLP-16的兩條連續掃描線之間的間隙爲0.43 m（HDL-64：0.09 m，有關在12.5 m距離內的兩個傳感器的典型掃描模式，請參見圖4（a）和（b））。 ，導致錯過無人機的可能性很高。這導致兩個傳感器系統的召回號碼明顯不同。在兩個HDL-64的FOV中有1843架UAV被檢測到1151架，召回率爲62.5％。相比之下，兩個VLP-16僅檢測到97架無人機，而應該可以看見496架，導致召回率爲19.6％。此示例說明，即使在12.5 m的低距離內，VLP-16也是偶然碰到物體的。兩種傳感器類型的檢測到的無人機的直方圖（圖4（c））顯示，VLP-16僅在低範圍內檢測到了無人機。得出這樣的結論：低（垂直）分辨率的360°掃描LiDAR系統不太適合在有用距離內進行無人機檢測。

4.4 檢測範圍

  可以檢測無人機的最大範圍是使用全景掃描LiDAR系統的關鍵參數。 Velodyne傳感器針對自動駕駛等應用進行了優化，不適用於遠程UAV檢測。 對於具有80％反射率的目標，HDL-64E的最大範圍規定爲120 m。 由於大多數無人機的LRCS很小（請參見第2.3節），因此，即使在其他良好情況下，無人機的最大探測距離也要短得多。

  由於VLP-16的檢測性能受到其垂直分辨率的影響（如第4.3節所述），因此僅對HDL-64的數據集執行以下分析。 我們將FOV中的1843架無人機分爲8個航程級別，每個航程寬5米，並計算每個級別的召回率（見圖5）。

  每類無人機的絕對數量主要與無人機的運動有關，無人機的飛行頻率通常在25 m至30 m範圍內。 另一方面，召回率與絕對值無關，對於低於35 m的範圍，召回率非常高，約爲70％；對於高於範圍的，召回率下降至30％左右。

  如果我們查看每個範圍類別中的理論掃描模式（圖6），可以注意到，召回率下降超過35 m時，兩條掃描線之間的垂直距離明顯大於目標高度。 水平方向上降低的點密度也可能會降低召回率，但似乎傳感器的垂直分辨率至關重要。

  選擇50 m的自我施加的檢測極限，使得如果目標被水平掃描線擊中，則目標應至少產生兩個點。 考慮到上述與範圍相關的召回值，最大檢測極限爲35 m似乎更適合可接受的檢測率。 使用這兩個約束條件，僅考慮兩個HDL-64和最大檢測範圍35 m，我們就能夠在FOV中檢測到894臺1259無人機。 考慮到有問題的地面真實情況，召回率爲71.0％，這是很高的。

4.5 路徑預測

  如3.3節所述，我們使用卡爾曼濾波器來預測每個被跟蹤物體的下一個位置。 因此，即使傳感器暫時無法獲取無人機的信號，我們也可以估算出無人機的位置。 如果使用這些虛擬UAV位置，則會獲得召回值，如圖7所示。

  對於所有射程類別，未檢測到的無人機數量都會減少，召回率也會增加。 儘管如此，在35 m以上仍存在召回率的大幅下降。 通過這些優化的參數（距離<35 m，僅HDL-64和路徑預測），檢測到1447架無人機中的1261架，召回率達到87.1％。

5. 結論和未來的工作

  對於所有射程類別，未檢測到的無人機數量都會減少，召回率也會增加。 儘管如此在本文中，我們研究了相對於兩個不同的360°LiDAR系統檢測範圍的檢測性能。我們已經表明，只要UAV在傳感器的FOV中並且傳感器與UAV之間的距離不太大，就有可能以很高的概率檢測UAV。一個顯着的發現是，對於35 m以上的距離，檢測率降低了，這可以追溯到目標上的低點密度。另外，掃描線之間的間隙允許無人機在這些距離內保持未被檢測到。可以注意到，較小的VLP-16傳感器不太適合10 m以上範圍內的無人機檢測。另一方面，HDL-64在距離最大爲35 m時顯示出良好的結果，在距離最大爲50 m時顯示出基本的可用性。由於通過跟蹤方法進行檢測，因此只能在至少三個觀察之後進行檢測，這導致至少兩個對象在相應軌道的開始處未分類。我們的傳感器車輛MODISSA上的LiDAR傳感器複雜的FOV可能會由於傳感器托架上其他硬件的遮擋而導致錯過UAV檢測，但似乎該問題主要可以通過使用無人機從軌道上的預測位置來解決名單。

  對於所有射程類別，未檢測到的無人機數量都會減少，召回率也會增加。 儘管如此對範圍相關召回的分析表明，目標上的最大點距離不應超過最小目標尺寸，即，對於無人機而言，高度應爲25釐米。對於Velodyne HDL-64E，在35 m目標距離處可以達到這個臨界點距離。有了這些知識，我們可以計算出基於激光雷達的無人機在50 m距離（傳感器​​分辨率<0.28°）甚至100 m距離（傳感器​​分辨率<0.14°）中的傳感器規格。但是，即使使用具有如此高分辨率的LiDAR傳感器，由於LRCS較低，因此無人機的後向散射信號也較低，因此檢測率很可能會降低。

  對於所有射程類別，未檢測到的無人機數量都會減少，召回率也會增加。 儘管如此基於LiDAR的無人機檢測的主要優勢是自動測量的無人機3D座標。特別是對於近距離設施保護等應用以及對策而言，需要精確的無人機軌跡。除此之外，LiDAR能夠抵抗光照和環境條件的變化。儘管在現場試驗中使用了一組不同的微型/微型無人機，但給出的結果並未關注無人機類型之間的差異。對於一種無人機，對LRCS進行了實驗研究。應進一步研究不同無人機的LRCS對檢測率的影響。本文提出的結果應通過另一組數據進行驗證。跟蹤和檢測算法也應在具有多個無人機的情況下進行測試。應特別注意無人機路徑的準確地面實況。