論文筆記：DeepSORT : SIMPLE ONLINE AND REALTIME TRACKING WITH A DEEP ASSOCIATION METRIC

論文筆記：DeepSORT

1.簡介

這是ICIP2017的一篇經典多目標跟蹤的論文。本篇論文基於SORT改進，通過加入深度特徵來減少ID Switch，實現了更高的跟蹤指標，並在GTX 1050上實現了20Hz的處理速度。

2.動機

之前的SORT算法雖然速度很快，但是由於在跟蹤過程中只使用了尺度和位置信息，導致在位置不確定性很大時（比如遮擋），非常容易出現ID Switch的情況。因此本文引入了深度特徵，來解決這個問題。

3.方法

3.1 狀態表示

每條跟蹤軌跡的狀態表示爲$(u,\ v,\ \gamma,\ h,\dot{x},\dot{y},\dot{\gamma},\dot{h})$，其中$(u,\ v,\ \gamma,\ h)$表示目標的位置座標$(u,\ v)$和尺寸$(\gamma,h)$。每一條軌跡保留A_max個age的數據。

3.2 分配問題

跟蹤的具體實現通過構建一個檢測目標與跟蹤目標對應匹配的跟蹤問題來實現，分配算法同樣選用匈牙利算法。
爲了融合運動信息和外觀（深度特徵）信息，文章提出了兩個距離，分別用馬氏距離表示運動信息和餘弦距離表示外觀。計算公式如下：
運動信息：
$d^{(1)}(i,\ j)=(\pmb{d}_{j}-\pmb{y}_{i})^{\text{T}}\pmb{S}_{i}^{-1}(\pmb{d}_{j}-\pmb{y}_{i})$
外觀信息：
$d^{(2)}(i, \ j)=\min\{1-\pmb{r}_{j}\ ^{\text{T}}\pmb{r}_{k}^{(i)}\vert \pmb{r}_{k}^{(i)}\in \mathcal{R}_{i}\}$
將距離變成0和1二值變量：
$b_{i,j}^{(1)}=1[d^{(1)}(i,j)\le t^{(1)}]$、$b_{i,j}^{(2)}=1[d^{(2)}(i,j)\le t^{(2)}]$
加權求和：$c_{i,j}=\lambda d^{(1)}(i,j)+(1-\lambda)d^{(2)}(i,j) \tag{1}$
求交集：$b_{i,j}=\prod_{m=1}^{2}b_{i,j}^{(m)} \tag{2}$
具體算法如圖所示：

算法思路爲：初始化成本矩陣（公式(1)計算）和門矩陣（公式2計算），用M記錄匹配的i和j（匹配軌跡和檢測），U記錄剩餘的檢測結果。時間從1迭代到A_max，將匹配的結果加入M中，同時除去D中已經被匹配了的檢測結果。

3.3外觀深度特徵提取器

深度特徵用一個預訓練好的深度神經網絡提取，網絡結構如圖。

4.結果