視覺跟蹤近年來的進展（2010年以前）——Advances in Visual Tracking
注：本文整理自Ming HSuan Yang的Tutorials-Advances in Visual Tracking,文章關於跟蹤的問題以及近年來視覺跟蹤方面的進展都整理的很全，特此將該文整理如下！（下文如有不妥之處，請指正，謝謝！交流QQ：644792619）
1.計算機視覺中的跟蹤問題
首先，跟蹤就是理解目標隨時間的幾何相關性，它是計算機視覺中的一個基本問題；其次，跟蹤也是一個具有挑戰性任務；最後它在實際生活中有廣泛的應用：如運動分析，監控，自動化機器人，外觀建模，目標識別，人機交互，遊戲，視頻索引等。
跟蹤的具體內容可以根據視覺層次劃分爲：
1）高層視覺：a.剛性目標---位置，方向，矩形框，相似性和仿射變換；b.非剛性目標---部分，姿態，輪廓，形狀變化，手指，手勢等。
2）中層視覺：區域，輪廓。
3）低層視覺：特徵。
跟蹤過程中的運動信息包括：位置，大小，旋轉，相似性變換，仿射變換，動態等。
2. 跟蹤的分類
根據跟蹤的內容不同，跟蹤可以劃分爲：
1）基於特徵的跟蹤；
Image features [Shi and Tomasi, 1994]
Interest point operator:
Harris corner detector [Harris and Stephens, 1988]
SIFT (Scale-Invariant Feature Transform) [Lowe, 2004]
SURF (Speeded Up Robust Features) [Bay et al., 2006],
GLOH (Gradient Location and Orientation
Histogram) [Mikolajczyk and Schmid, 2005]
SIFT
ow [Liu et al., 2008]
SURFTrac [Ta et al., 2009]
2）基於模型的跟蹤；
Digifingers [Rehg and Kanade, 1994]
Articulated hand tracking [Wu et al., 2001]
Model-based 3D tracking [Lepetit and Fua, 2005]
3）基於輪廓的跟蹤；
Snake [Kass et al., 1987]
Active contour [Caselles et al., 1997, Isard and Blake, 1996,
Cootes et al., 1998]
Level set [Paragios and Deriche, 2000]
Exemplar-based tracker [Toyama and Blake, 2001]
4）基於行人的跟蹤等。
a）Near-view
2D card board human [Ju et al., 1996]
[Ioffe and Forsyth, 2001] [Cham and Rehg, 1999]
[Pavlovic et al., 1999] [Hua and Wu, 2004]
3D human model [Bregler and Malik, 1998]
[Sidenbladh et al., 2000] [Deutscher et al., 2000]
[Sminchisescu and Triggs, 2001] [Sigal et al., 2004]
[Urtasun et al., 2006] [Li et al., 2006]
b)Far-view
Pfinder [Wren et al., 1997]
W4 [Haritaoglu et al., 1998]
Multiple objects [Okuma et al., 2004] [Tao et al., 2002]
3.視覺跟蹤的目標和挑戰
目標：定位感興趣目標的位置，大小，估計目標的運動；
挑戰：a)於光照導致的目標外觀的變化，b)視角和形狀變化，遮擋，c)相機移動。
傳統的方法：1)目標描述；2）在t-1幀預測下一幀的狀態，例如用線性/非線性優化，採樣，粒子濾波等方法；3）在t幀用圖像模型來驗證預設的正確與否
現在面臨的問題 ：
1）大多數方法需要離線訓練；
2）大多數方法沒有目標的高層描述（特徵）；
3）大多數方法沒有實時的跟新目標的外觀模型。
4.關於跟蹤：
1）分類方法：
Obviously numerous ways
High-level, mid-level, low-level
Rigid and non-rigid object
Single or multiple objects
Single or multiple homogeneous/heterogeneous trackers
Color-based or not
Generative and discriminative
Supervised or unsupervised
Real-time or batch-mode
Single or multi-view based
Probabilistic or deterministic
2）表述：
(a) Centroid；(b) multiple points；(c) rectangular patch；(d) elliptical patch；(e) part-based multiple patches；(f) object skeleton；(g)complete object contour；(h) control points on object contour；(i) object silhouette.
3）預測方法：
Tracking: prediction, prediction, prediction
Kalman filter(卡爾曼濾波)
Maximum likelihood estimation（最大似然估計）
Multiple hypothesis（多重假設）
Non-parametric model（無參數模型）
Particle lter（粒子濾波）
5. 常用的跟蹤算法
Optical Flow(光流法)、eigentracking(特徵跟蹤)、Template-based tracking(基於模板的跟蹤)、Blob Tracker、Kernel-based Tracking、Sequental Kernel-based Approximation、WSL、Kalman Filter(卡爾曼濾波)、Partical Filter(粒子濾波)、Online Feature Selection、Incremental Learning for Robust Tracking、PCA描述、 Visual Tracking as statistical Inference、Dynamic Model、Observation Model、Inremental Supspace Update、R-SVD Algorithm、Efficient R-SVD with Updated Mean、SVM+Optical、Adaptive Discriminative Generative Model、 Tracking by Detection 、Online Boosting、Ensemble Tracking、semi-supervised Tracking、Flag Track、Online Multiple Instance Learning、Boosting and MILBoost、Batch MILBoost、Online MILBoost for Tracking、 Online Articulated Object for Tracking、Sparse Representation 、Multiple Trackers、Multiple Observers with Different Lifespans、Learning with multiple Tracker、Visual Tracking Decomposition、PROST、Tracking with Reference Object
(詳情請見： http://faculty.ucmerced.edu/mhyang/papers/accv10_tutorial.pdf )
6. 性能評價：
1）評價標準：
time
accuracy: position, overlapping area, angle
motion information: similarity/ane transform
consistency
off -line training
recover from failure
qualitative and quantitative
lighting
feature
multiple objects
image sensor
single tracker
2)數據集：
ground truth
7.跟蹤中的遇到的開放性問題
Heavy occlusion（遮擋）
Articulated non-rigid motions
Failure recovery（錯誤跟蹤的恢復）
Drifting problems（漂移）
Multiple targets（多目標）
Markless 3D human tracking
Context and prior knowledge（上下文和先驗知識）
Simultaneous detection, tracking, and recognition
Long term and short term memory（長時間存儲和短時間存儲）