論文鏈接：https://arxiv.org/abs/1606.09549
源碼：https://github.com/bertinetto/siamese-fc
本文屬於將孿生網絡和深度學習結合用於目標跟蹤領域的開山之作。深度學習雖然逐漸佔據圖像各領域，但在目標跟蹤領域由於單純基於深度學習的方法計算量巨大，時效性不佳，Siamese類的論文逐漸在該領域處於重要地位。近幾年陸陸續續出現衆多相關論文，而本論文是該系列論文的基礎。
摘要：
論文采用全卷積孿生網絡結構，可歸結爲一個相似性度量的問題，通過相關濾波（模板匹配）的方式計算出模板圖片和待檢測圖片各個位置之間的相似度，相似度最高的點即爲目標。
1、網絡結構：
網絡結構如下圖，z爲模板圖像（第一幀圖像），x爲待搜索圖像（待跟蹤區域的候選框搜索區域）。ϕ表示特徵提取（CNN），分別將模板圖像和待搜索圖像通過相同的特徵提取函數。*表示卷積操作（相關濾波）得到最後的相似度矩陣score map，表示待搜索區域中各位置與模板圖像的相似程度。
該網絡簡單有效，性能好且速度極快。
2、損失函數
使用判別式損失函數，對搜索區域的位置進行正負樣本區分，在目標範圍內的點作爲正樣本，該範圍外的點爲負樣本，如圖中所示，紅色點爲正樣本，藍色點爲負樣本。採用logistic loss計算最終的損失，具體的損失函數形式如下圖
3、部分細節
3、1待搜索圖的框是如何選擇的？
待搜索圖以目標區域爲中心，擴大模板圖像的尺寸爲搜索區域的尺寸，選擇多個尺度作爲放大倍數，比如擴大1.5、2倍，再通過滑窗得到多個框
框的選擇有問題，單純利用多尺度和迴歸算法計算最終的框，對於移動速度快的目標跟蹤效果不佳。此處可進行改進
3、2對於超越邊界的截取採用padding擴充的方式處理
4、實驗分析
通過運行程序，發現以下問題：
1、對移動速度較快，形變程度較大的物體跟蹤效果不佳；
2、對相似物干擾、遮擋、超出畫面、背景複雜的實例跟蹤效果不佳，容易出現跟丟或跟錯對象的情況；