本文概覽
分析DCF系列跟蹤算法的不足，並加以改進；
本文核心一：將DCF作爲CNN中的一個卷積層；
本文核心二：將特徵提取，響應圖產生以及模型更新整合到CNN中進行端對端訓練；
本文核心三：將殘差學習的思想用於深度目標跟蹤網絡的更新，可以更有效地應對目標外觀的大變化和小變化；
本文實驗效果：在OTB100上獲得了0.837的精度和0.623的覆蓋率；
DCF算法分析
DCF算法優點一：可以在頻域上進行快速模型學習和目標檢測；
DCF算法優點二：在搜索域內響應密集，有益於高精度的目標跟蹤；
DCF算法優點三：通過結合深度特徵可以獲得很好的跟蹤效果；
DCF算法不足一：特徵提取和模型學習分離的，難以從端對端的學習方式中受益；
DCF算法不足二：模型更新採用滑動加權平均的方式，不是最優的更新方式，因爲一旦有噪聲參與更新，很有可能導致模型的漂移，因此難以同時兼得模型的穩定性和適應性；
針對DCF算法進行改進
改進一：將DCF算法中學習的模板看做深度卷積神經網絡中的卷積濾波器；
改進二：將從VGG16中進行特徵提取以及響應圖的產生和模型的更新統一整合成一個端對端的方式；
改進三：從時域進行卷積計算，從而避免了DCF在頻域求解中的邊界效應問題；
改進四：爲了更加合適的更新模型，通過檢測卷積層的輸出（即響應圖）和ground truth的差別，使用殘差學習的方式捕獲外觀的改變，從而引導模型更新，從而不但可以有效地減輕噪聲更新對模型的影響還，還可以使模型在目標外觀發生大的變化時進行魯邦的更新；
本文算法框架
除了VGG作爲前端進行特徵提取外，另外設置三個並行層，分別爲：基本的卷積層，時間殘差層，空間殘差層；
基本卷積層：代替DCF的濾波器，損失函數同標準線性核DCF損失函數；
殘差學習層：原則上，基本卷基層的輸出應該和ground truth label相同，但是實際上達不到，雖然可以通過增加基本卷積層數達到目的，但是這樣會導致模型泛化能力下降，因此加入殘差學習層，通過捕獲基本卷積層和ground truth之間的差別進行學習更新；
符號：
H(X) 樣本X 的理想輸出，FB(X) 卷積層輸出，FR(X)=H(X)−FB(X) 殘差層輸出目標；網絡輸出：
F(X)=FB(X)+FR(X) ，卷積層和殘差層共同產生最終的輸出結果；卷積層配置：1層卷積層，大濾波器；殘差層配置：3層殘差層，小濾波器；
第二殘差層：爲彌補加入第一殘差層後可能仍然與ground truth之間存在偏差，因此引入第二殘差層進行進一步ground truth label 擬合，但是與第一殘差層不同，第二殘差層僅使用第一幀圖片的特徵，第一殘差層和卷積層使用當前幀的特徵；
最終網絡輸出：
FR(Xt)=FR(Xt)+FSR(Xt)+FTR(X1) ；整個網絡直接在當前目標跟蹤視頻上fine-tune，不需要額外跟蹤數據預訓練；
運行機制：當目標外觀發生小的變化的時候，base層輸出和ground truth接近，這樣殘差層的結果對最終結果影響較小，當目標外觀發生大的變化的時候，base層輸出難以區分目標和背景，此時可以用殘差層的輸出進行彌補，殘差層有助於減小最終響應圖上的噪聲響應，使得最終響應對目標外觀變化大魯棒性強；
目標跟蹤流程
模型初始化：使用VGG網絡進行特徵提取，隨機初始化卷積層和殘差學習層，給定第一幀圖片後finu-tune卷積層和殘差層使得輸出接近ground truth；
在線檢測：提取搜索域特徵，網絡前傳，得到相應圖，最大值定位；
尺度估計：多尺度採樣，選最大值所對應的尺度後，進行平滑尺度更新；
模型更新：在在線跟蹤過程中產生訓練數據用於跟蹤模型更新；
實驗
實驗配置1：5倍搜索域；
實驗配置2：使用VGG16中conv4-3經PCA降維到64通道後作爲特徵；
實驗配置3：標籤爲高斯分佈；
實驗配置4：尺度平滑參數爲0.6；
實驗配置5：使用MatConvNet框架實現；
實驗配置6：模型初始化時，訓練學習率爲5e-8，學習停止準則爲loss小於0.02，幾百次迭代後收斂；
實驗配置7：模型更新時，每兩幀更新一次，更新時迭代2次，學習率爲2e-9；
實驗數據集：OTB-2013，OTB-2015，VOT-2016；
