多目標跟蹤（Multiple Object Tracking）
MOT 獲取單個連續視頻並以特定幀速率 (fps) 將其拆分爲離散幀以輸出
- 檢測每幀中存在哪些對象
- 標註對象在每一幀中的位置
- 關聯不同幀中的對象是屬於同一個對象還是屬於不同對象
MOT的典型應用
多目標跟蹤（MOT）
- 用於交通控制、數字取證的視頻監控
- 手勢識別
- 機器人技術
- 增強現實
- 自動駕駛
MOT 面臨的挑戰
準確的對象檢測的問題是未能檢測到對象或者爲檢測到的對象分配錯誤的類別標籤或錯誤地定位已識別的對象：
- ID Switching發生在兩個相似的物體重疊或混合時，導致身份切換；因此，很難跟蹤對象 ID。
- 背景失真：複雜的背景使得在物體檢測過程中難以檢測到小物體
- 遮擋：對象被另一個對象隱藏或遮擋時會產生這個問題。
- 多個空間空間、變形或對象旋轉
- 由於運動模糊而在相機上捕獲的視覺條紋或拖尾
一個好的多目標跟蹤器（MOT）
- 通過在每幀的精確位置識別正確數量的跟蹤器來跟蹤對象。
- 通過長期一致地跟蹤單個對象來識別對象，
- 儘管有遮擋、照明變化、背景、運動模糊等，仍可跟蹤對象。
- 快速檢測和跟蹤物體
常見的 MOT 算法
1、基於質心的對象跟蹤
基於質心的對象跟蹤利用視頻中兩個連續幀之間檢測到的對象質心之間的歐幾里得距離。
Intersection-over-Union 是另一種對象跟蹤技術，它通過後續幀的空間重疊將後續幀的檢測與軌跡相關聯。
Visual IOU Object Tracker 有兩個方向工作；對象的視覺前向和後向跟蹤有助於合併中斷的軌跡。
2、簡單的在線實時跟蹤 (SORT)
SORT 方法假設跟蹤質量取決於對象檢測性能。SORT 首先使用 Faster Region-CNN (FrRCNN) 檢測對象。
通過預測其在當前幀中的新位置來更新使用卡爾曼濾波框架優化解決的目標狀態，將對象檢測與檢測到的邊界框相關聯。
爲每個檢測分配Cost矩陣來計算與來自現有目標的所有預測邊界框之間的交併聯合（IOU）距離。使用匈牙利算法解決分配問題。
SORT算法有助於減少遮擋目標，當物體運動較小時，Id切換效果很好。SORT 在具擁擠場景和快速運動的情況下可能會失敗
Deep SORT：Deep SORT 是 SORT 的擴展，允許通過更長時間的遮擋進行跟蹤，實現簡單並且可以實時運行。
Deep SORT採用單一的傳統假設跟蹤方法，具有遞歸卡爾曼濾波和使用匈牙利算法的逐幀數據關聯。
外觀特徵描述了給定圖像的所有特徵。Deep SORT 還利用類似於 SORT 的匹配級聯來對更常見的對象進行優先級排序。
Deep SORT 減少了 ID 切換和遮擋，從而降低了誤報率。
完整文章：
https://avoid.overfit.cn/post/192509f7af104f7ca4a846ec925a0782