原文鏈接、代碼以及在MOT Challenge上的成績：https://motchallenge.net/tracker/MHT_DAM_17
摘要：
本文回顧了經典的基於tracking-by-detection框架的多假設跟蹤算法（MHT），而MHT之所以奏效，很大程度取決於它只維持了一小個潛在假設的列表，這有助於精確地進行目標檢測。本文還證明了90年代的經典MHT算法在標準測試數據集上能與目前一流的方法媲美。爲了更好地利用MHT來探索高階信息，本文還爲每個跟蹤假設採用了一種在線訓練外觀模型的方法。通過最小正則二乘法框架，每個假設分支只需要一些額外的操作就可以高效地學習到外觀模型。
一、介紹與相關工作：
MHT最早起源於1979年由Reid提出：爲每個候選目標建立一個潛在跟蹤假設的樹，這樣可以爲數據關聯問題提供一個系統的解決方法。計算每一個跟蹤的概率，然後選出最有可能的跟蹤組合。因爲在計算概率時，整個跟蹤假設都會被考慮到，所以MHT理論上適用於高階信息例如長期的運動和外觀模型。
過去的MHT（本質是BFS算法），常受限於剪枝算法的速度、準確性以及搜索空間的結合性增長。針對這些問題，本文主要工作是摘要中提到的部分。相關工作是最大權重獨立集（MWIS）、tracking-by-detection等。
二、多假設跟蹤：
k：幀
Mk：k幀中檢測到的目標個數
ik：k幀中的檢測到的一個目標
i1,i2,…,ik：k幀中的跟蹤假設
zi1,i2,…,ik：判斷是否有一個跟蹤假設在最後決定中被選中
MHT的關鍵策略是延遲數據關聯的決策，通過保持多個假設的激活，直到解決數據關聯歧義問題。MHT維持多個跟蹤樹，每個跟蹤樹代表從一個觀測中產生的所有假設，如Fig.1c。在每一幀，跟蹤樹根據觀測進行更新，每個跟蹤都會得到分數。最好的無衝突跟蹤集（最佳全局假設）可以由最大權重獨立集找出，如Fig.2a。之後，那些偏移太多的分支會從跟蹤樹中被裁剪出來。最後，算法進入下一幀。
2.1 跟蹤樹構造和更新：
一個跟蹤樹保存着由一個觀測產生的多個假設。在每一幀，每有一個新的觀測產生就會有一個新的跟蹤樹被構造，表示着這個觀測對應一個新目標進入場景的概率。之前已存在的樹也需要更新。當跟蹤假設在觀測的gating範圍時，爲這個觀測對應的樹增支。ps：常常會增加一個多餘的分支，用於記錄丟失的目標。
2.2 Gating
基於動態估計，gating範圍常用在跟蹤假設上，用來預測下一個檢測目標在哪個位置出現。
xl k：在k時刻，第l個跟蹤的可能位置
設變量xl k服從基於均值^xl k，協方差∑l k的正態分佈，而均值和協方差都由卡爾曼濾波獲得。使用觀測位置yik和預測位置^xl k的的馬氏距離d^2決定是否使用新預測目標ik來更新特定的軌跡：
其中dth表示距離閾值，決定了gating範圍，如Fig.1b。
2.3 跟蹤得分
第k幀第l個跟蹤得分如下公式：
wmot：控制位置yik變量的分佈權重
wapp：外觀Xik變量的分佈權重
sl mot(k)：動態得分
sl app(k)：外觀得分
根據log likelihood ratio(LLR)公式，將從同一目標產生的觀測序列和從背景產生的觀測序列代入有：
因式分解得：
在t時刻中，跟蹤假設的每個位置測量概率近似高斯分佈，有：
其中，V是測量空間、圖像區域。
外觀跟蹤分數定義如下：
與動態得分因式分解步驟相同：
給定先驗觀測i1:t-1，定義後驗事件：觀測it在第l個跟蹤中有：
其中F(·）表示外觀特徵Xit的分類分數，分類權重由Xi1:t-1學習而來。
利用常量c1計算背景假設的後驗概率：
當Sl (k) > 0時，表示一個跟蹤假設更像是真的目標；當Sl (k) < 0時，表示更可能是錯誤的警示。因此可以遞歸得到：
其中△Sl mot(k)和△Sl app(k)分別表示在k時刻兩類分數的增量，PD和PFA分別表示檢測概率和錯誤警示概率（實際上都很小）。
由(5),(8),(9)式可以得到：
ps：分數會隨着跟蹤假設根據檢測更新而更新，用於記錄丟失目標的跟蹤假設將會被移出假設空間。
2.4 Global Hypothesis Formation
這裏只列出主要公式，具體作用可以參照Fig.2a：
2.5 跟蹤樹裁剪
爲了防止跟蹤假設指數級增長，採用標準N-scan裁剪方法，如Fig.2b。除此之外，還設置閾值Bth。當分支數超過Bth時，只根據跟蹤分數保留前Bth個分支。當使用MHT-DAM，如Table.1，外觀模型使得我們可以進行更多的剪枝操作，使得不用提高跟蹤假設數量也可以有顯著的更大的gating區域。另外，當外觀模型分數F(Xit) < c2時，設置△Sapp(t) = -∞可以防止進行剪枝。這樣就可以減小不必要的剪枝，提高效率。
三、在線外觀建模
由於基於動態的約束（勻速、線性等不魯棒，所以使用多路輸出正則最小二乘法框架（multioutput regularized least squares framework）來學習目標外觀模型。作爲一種在線學習策略，對於漂移現象，它會比局部外觀匹配表現得穩定，因爲它將從多幀得到的多外觀都考慮其中。
3.1 Multi-output Regularized Least Squares
主要回顧了多路輸出正則最小二乘法的原理、公式和步驟。
3.2 將MORLS應用到MHT
主要講述瞭如何將MHT中使用到的跟蹤假設、跟蹤樹等代入上述公式。
最後利用卷積神經網絡對每個檢測框提取4096維特徵，然後再用PCA降維。在本文實驗中主要採用前256個主成分。
ps:最後有關於如何提升裁剪效率，以及實驗結果分析對比，有興趣的讀者可以自行查看原文以及MOT官網的貼圖，謝謝~