論文地址：https://arxiv.org/abs/1409.7618
參考中文翻譯：https://blog.csdn.net/yuhq3/article/details/78742658
0. 摘要
多目標跟蹤（MOT）是一個重要的計算機視覺問題，由於其巨大的學術和商業潛力，引起了越來越多的關注。儘管已經有許多不同的方法來解決這個問題，但是由於諸如突然的外觀變化和嚴重的物體遮擋等因素，這個問題仍然具有巨大的挑戰性。在這項工作中，我們對這個問題進行了第一次全面和最新的回顧。我們從各個方面考察了最近的進展，並提出了一些有趣的研究方向。據我們所知，在多目標跟蹤領域內沒有對其進行任何廣泛的評論。我們努力對多目標跟蹤問題近幾十年來的發展進行徹底的回顧。
本綜述的主要內容分爲以下四個方面：1）多目標跟蹤系統的關鍵環節，包括構想、類別、核心算法、對多目標跟蹤的性能評估。2）我們依據不同的方面來討論現有的方法，每一種方法都被分組，每組都要對算法、優點和缺點進行詳細討論。3）我們對已發佈的放進進行實驗測試，並對其在流行數據集上運行的結果進行總結，以得到定量比較。我們還通過分析這些結果來得出一些有趣的發現。4）我們對多目標跟蹤研究的問題進行討論，並提出一些可能成爲未來研究工作的有趣方向。
1. 引言
本綜述主要對行人跟蹤進行總結討論，主要原因有三：1）相比於自然界中的其他物體，行人是典型的非剛性物體，是理想的多目標跟蹤研究對象；2）以行人爲主要關注對象的視頻視覺應用具有更大的商業潛力；3）目前至少有70%的多目標研究工作都致力於行人跟蹤問題。
除了單目標跟蹤SOT主要設計複雜的外觀模型、運動模型來解決諸如尺度變化、旋轉扭曲和光照變化等問題，多目標跟蹤額外還要兩個問題，一是確定目標的個數，這是隨着時間變化的，二是維護目標的ID。
1.1 與其他相關綜述文獻的區別
與多目標跟蹤相關的文獻綜述有很多，主要分爲以下幾類：
類型1：跟蹤作爲整個系統一個獨立的部分，這樣的系統有羣體建模分析、行爲識別、視頻監控等；
類型2：通用視覺跟蹤技術，綜述範圍更寬，本文更加註重於多目標跟蹤；
類型3：討論通用視覺跟蹤和多目標跟蹤的基準，重點在於實驗研究而不是文獻綜述。
1.2 我們的貢獻
（1）聯合現有的多目標跟蹤方法，我們總結得到了一個多目標跟蹤問題統一的解決程式，並將其分爲兩大類不同的方法；
（2）我們研究了多目標跟蹤問題不同的關鍵環節，深入討論其中每個環節的不同方面，詳細總結了它們的方法和優缺點；
（3）列出了不同方法在流行數據集上的實驗結果對比，通過研究實驗結果發現了一些有趣的結論；
（4）通過總結多目標跟蹤綜述文獻，總結了當前多目標跟蹤研究中存在的問題，討論了一些可行的未來研究方向。
2. 多目標跟蹤問題
2.1 問題流程
通常，多目標跟蹤可以被看作是一個多變量估計問題。多目標跟蹤的目標是找出所有目標的最優狀態序列，通過所有觀測基礎上的狀態序列條件分佈進行MAP(maximal a posteriori)估計獲得。不同的方法可以被看作是設計不同的方法解決MAP問題，或者是基於概率預測的，或者是基於決策優化的。
2.2 多目標跟蹤方法分類
根據以下三方面的不同對跟蹤方法進行分類：1）初始化方法；2）處理模式；3）輸出類型。
2.2.1 初始化方法
根據目標是如何初始化可將多目標跟蹤分爲兩類：Detection-Based Tracking (DBT) and Detection-Free Tracking (DFT)。
Detection-Based Tracking (DBT)：目標首先被檢測出來然後連接得到軌跡。給定一個視頻序列，每一幀進行特定類型的目標檢測或運動檢測（基於背景建模）得到目標假設，將檢測假設連接得到的軌跡完成跟蹤過程。有兩個問題需要明確，一是由於目標檢測器需要提前訓練，大部分DBT跟蹤算法只關注特定類型的目標如行人、車輛或人臉，二是DBT跟蹤算法的性能主要依賴於所使用的目標檢測器的性能。
Detection-Free Tracking (DFT)：在視頻的第一幀手動初始化一定數量的待跟蹤目標，然後在後續的視頻幀中定位並鎖定這些目標。
DBT是目前更流行的跟蹤策略，跟蹤場景中的新目標出現和消失均可以被自動檢測到。DFT不能解決目標消失的問題，但是可以省去目標檢測器的預訓練過程。
2.2.2 處理模式
根據處理模式不同可以將多目標跟蹤分爲在線跟蹤 Online tracking 和離線跟蹤 Offline tracking。主要區別是，當在處理當前幀時，其後幾幀能否被利用到，在線模式只能利用直到當前幀的信息，離線模式還可以使用未來幀的信息。離線跟蹤利用了一組幀來處理數據。
2.2.3 輸出類型
根據輸出的隨機性，可將多目標跟蹤方法分爲基於決策的方法和基於概率的方法。無論運行該方法多少次，基於決策的跟蹤輸出是恆定不變的，而基於概率的跟蹤則會產生不同的結果輸出。
3. MOT問題組成
在設計MOT算法時，兩個主要問題需要考慮，一是如何衡量幀內不同目標間的相似度，二是基於幀間目標間的相似度衡量如何進行目標匹配。前者主要包括外觀、運動、交叉、排斥和碰撞的建模問題，後者主要和數據關聯有關。
3.1 外觀模型
與單目標跟蹤主要關注構建一個複雜的外觀模型將目標與背景區分開來不同，多目標跟蹤並不將外觀建模作爲算法的核心部分。
外觀模型包括兩部分：視覺表示和統計度量，前者通過單一特徵或多特徵描述一個物體的視覺特徵，後者是不同目標間的相似度計算。
3.1.1 視覺表示
如圖3爲各種利用不同特徵的視覺描述方法。
Local features：
- KLT（Kanade-Lucas-Tomasi）；
- 光流法，許多MOT方法在數據關聯之前都利用光流法將檢測輸出連接爲短軌跡，光流法也常用於運動信息編碼，光流法還可應用於擁擠場景中尋找人羣運動規律。
Region features，主要提取自 bounding box 中，按照計算時像素值被計算的次數進行劃分：
- Zero-order，表示像素值不進行計算比較，最常用的表示方法，主要由顏色直方圖、原始像素模板；
- First-order，像素值差異被計算一次，常用的有基於梯度的特徵如HOG（Histogram of Oriented Gradient）和水平集方程（level-set formulation）；
- Up-to-second-order，區域協方差矩陣。
Others：深度特徵、概率佔據圖POM（Probabilistic Occupancy Map）。
Discussion
3.1.2 統計度量
基於上一步的視覺表示，統計度量計算兩個目標間的相似度（affinity），其中又可分爲單線索 single cue 和多線索 multiple cues 方法。
Single cue：或者將距離轉換爲相似度，或者直接計算相似度。
- Normalized Cross Correlation(NCC) 歸一化互相關常用於對使用原始像素模板方法表示的兩個對應區域進行計算；
- 巴氏（Bhattacharyya）距離常用來計算兩個顏色直方圖的距離，後該距離轉換爲相似性或者放入高斯分佈中；
- 可以將差異性轉換爲概率，用協方差矩陣來表示；
- 詞袋模型可用於基於點特徵表示的表示方法。
Multiple cues：
3.2 運動模型
運動模型捕獲目標的動態行爲，可以估計目標在未來幀中的潛在位置，縮小搜索的範圍。我們認爲現實中的目標是平緩移動的。
3.2.1 線性運動模型
線性運動模型是目前最流行的模型，通常假設目標是勻速運動的：
- 速度平滑性由後續幀中目標速度值變化平滑實現；
- 位置平滑性直接影響觀測位置和估計位置的差異；
- 加速度平滑性
3.2.2 非線性運動模型
3.3 交互模型
3.3.1 社會力模型
3.3.2 人羣運動模式模型
3.4 排斥模型
3.4.1 檢測層面的排斥
3.4.2 軌跡層面的排斥
3.5 遮擋處理
3.5.1 部分到整體
該策略是建立在目標的一部分仍是可見這個假設上的。流行的方法是將目標整體分割成若干部分，依據各個部分計算相似度。當發生目標遮擋時，跟蹤器使用未遮擋的部分進行估計。
3.5.2 假設與測試
該策略並不正面處理這檔問題，而是通過假設然後根據觀測目標去驗證假設。
3.5.3 緩衝與恢復
3.6 預測
3.6.1 概率預測 - 適用於在線跟蹤
概率預測模型：卡爾曼濾波、擴展卡爾曼濾波、粒子濾波。
卡爾曼濾波主要適用於線性系統和服從高斯分佈的目標狀態；擴展卡爾曼濾波通過泰勒展開進行估計，進一步適用於非線性系統；粒子濾波（Particle filter）。
3.6.2 確定性優化 - 適用於離線跟蹤
Bipartite graph matching：將MOT問題建模成偶圖匹配。貪心偶匹配算法、匈牙利優化算法。
Dynamic Programming：擴展動態規劃、線性規劃、二次布爾規劃、最短K路徑、集合覆蓋等，都是用於解決檢測目標與軌跡之間關聯問題的方法。
Min-cost max-flow network flow
Conditional random field
MWIS
3.6.3 討論
儘管概率預測方法通常是更直觀完整的解決方案，確定性優化或能量最小化方法比概率預測方法更加常用。能量最小化方法可以在合理的時間內得到足夠好的結果。
4. 多目標跟蹤評價方法
4.1 評價指標
4.2 數據集
4.3 開源算法
4.4 基準結果