本文提出了一個tracking框架，由tracker和verifier組成，二者並行執行，相互協作，兼顧了tracking過程的速度和準確率。
1.動機
- 在tracking的過程中，目標在大多數情況下變化的較爲緩慢平滑，這種情況處理起來很容易。但是會存在一些麻煩的情況（比如目標形變），這些情況可能只是偶爾發生，卻會對跟蹤造成嚴重影響。PTAV在這些情況下（而不是每一幀）加入驗證模塊來提高跟蹤準確率。
- 多線程計算在計算機視覺系統中已經非常普遍並且取得很大成功（如PTAM）。
- tracking中速度快的算法和準確率高的算法提供了優質的blocks，PTAV尋求實時和高速的平衡。
2.組成
PTAV由Fast Tracker T 和 Reliable Verifier V 組成。
T 負責滿足算法的實時性要求，需要在每一幀定位目標。同時，T以一定的時間間隔向V發送驗證請求，並根據V給的反饋繼續追蹤或調整模型。爲了能夠在需要的時候快速回溯，T維持了一個鄰近幀tracking信息的緩存。最初版本選擇的是fDSST算法，本文選取STAPLE算法作爲tracker。
V 負責滿足算法的準確率要求。收到T的驗證請求後，V應該儘可能快的驗證追蹤結果並反饋給T。爲了能使V適應目標外觀的變化，V會收集一定數量的tracking結果，並使用K-means對這些結果進行聚類，從而得到一個動態的目標模板池。本文選取Siamese network作爲verifier。
3.PTAV
3.1 Framework
3.2 Implementation
Tracking
STAPLE tracker 結合了template score（Hog特徵）和histogram score（顏色直方圖）。HOG特徵對運動模糊和照度很魯棒，但是對形變不夠魯棒。而顏色直方圖對形變則非常魯棒。STAPLE結合了兩種的優點，互補之後效果魯棒，速度很快。template響應來源於optimal correlation filter model w，histogram響應來源於learned color statistic model h。
在PTAV中，爲了能夠快速回溯，T存儲了鄰近幀的中間信息（如w和h）。當V發現不可靠的tracking結果時，V會給T一個包含正確模板位置和幀索引信息的反饋。收到V的反饋後，T會停止目前的追蹤並利用存檔中的信息重新追蹤。
Verifying
孿生網絡作爲verifier用來測量已有樣本和目標對象的相似性。爲了應對變形等問題，本文中通過收集可靠性高的tracking結果，動態更新目標模板。
Verification-based detection
如果檢驗出了tracking failure，又該怎麼找到正確的結果呢？這是V需要再次利用孿生網絡去找到正確的結果。與verification不同，detection需要驗證區域內的多個圖塊，找到最好的那個，並根據驗證分數判斷它是否是一個可靠的結果。
在verification中，有三個閾值
4. 實驗結果
以OTB2015爲例。視頻序列包含變形（DF deformation）、遮擋（OCC occlusion）、尺寸變化（SV scale variation）、光照變化（IV illumination variations）、運動模糊（MB motion blur）、快速運動（FM fast motion）、背景雜波（BC background clutter）、視野外（OV out-of-view）、低分辨率（LR low resolution）、平面內旋轉（IPR in-plane rotation）和平面外旋轉（out-plane rotation）這11種有挑戰性的情況。
三個評價標準。1. distance precision rate(DPR)表示估計結果與真實結果的中心位置小於給定閾值的幀所佔的百分比。（？？？沒搞懂，文中寫的是DPR demonstrates the percentage of frames whose estimated average center location errors are within the given threshold distance to groundtruth???）2. overlap success rate（OSR）表示估計結果與真實結果的重疊分數大於給定閾值的幀所佔的百分比，這裏重疊率被定義爲
三類被拿來做比較的tracking算法。1. deep feature-based tracking algorithms 2. correlation filter based trackers 3. other representative tracking methods
觀察數據，可以說PTAV確實達到了初衷：兼顧準確性與實時性。
論文還加入了一個模型簡化測試，即去掉一些模塊後看看對結果產生什麼影響。針對不同的V，不同的T，不同的驗證間隔N，以及固定模板與動態模板，雙線程與單線程等，進行了比較。
5. 總結
PTAV牛逼_(:з」∠)_