CVPR 2019 GCT:《Graph Convolutional Tracking》論文筆記

理解出錯之處忘不吝指正。

簡介

本文出自中科院自動化所，模式識別國重。
文章鏈接
代碼鏈接

動機

使用Siamese結構做目標跟蹤一直存在一個問題，即：當目標被遮擋、形變或其他原因，導致跟丟後，無法重新跟蹤。作者認爲，傳統的SiamTrackers沒有考慮時空連貫性。

貢獻

1. 本文是第一個在Siamese結構下使用圖卷積做目標跟蹤的方法，模型可以端到端的訓練。
2. 作者在Siamese網絡中設計了ST-GCN和CT-GCN結構，前者可以對目標的時空信息進行建模，後者可以利用當前幀的上下文對特徵進行自適應。
3. 實驗結果展示了本文方法的有效性，且可以做到實時。

方法

本文方法的整體結構如下圖所示。可以看出，與傳統的SiamTrackers不同的是，上分支中使用ST-GCN對目標的時空信息進行了建模，得到ST-Feature。對於當前跟蹤幀，得到上下文特徵Context Feature，使用CT-GCN得到自適應特徵Adaptive Feature。最後，經過XCorr得到響應圖。

ST-GCN和CT-GCN是本文的核心，前者負責編碼目標的時空特徵，後者根據目標狀態對特徵進行自適應，二者的網絡結構如下圖所示。

實驗

在OTB-2013數據集上做的消融實驗：

在OTB數據集上的實驗結果：


在VOT2017上的實驗結果：

在VOT2017 real-time上的實驗結果：

在UAV123上的實驗結果：

從實驗結果可以看出，其實本文方法在精度上達不到SOTA，這可能因爲本文方法是基於SiamFC實現的，畢竟是2016年的論文，能夠在現在和SOTA一戰已經很不錯了。另一點，本文是第一篇使用GCN的tracker，具有借鑑意義。