圖像跟蹤是一個不斷髮展的研究方向，新的方法不斷產生，再加上其它學科的方法的引入，因此對於圖像跟蹤算法的分類沒有確定的標準。對於所有的跟蹤算法，需要解決兩個關鍵問題：目標建模和目標定位[35]。以下根據目標建模所用的視覺特徵和目標定位所用的方法對跟蹤算法分類。
1．據視覺特徵分類：欲實現目標的準確定位需要以描述目標的視覺特徵建立其表觀模型。具有良好可分性的視覺特徵，是實現對跟蹤目標與視場背景精確分割與提取的關鍵，因此視覺特徵的選擇是實現魯棒跟蹤前提。若所選視覺特徵具有較強可分性，即使簡單的跟蹤算法也能實現可靠跟蹤。反之不然。常用的視覺特徵分類如下：
顏色：由於顏色特徵具有較好的抗擊平面旋轉、非剛性變形以及部分遮擋的
能力，變形目標跟蹤中表現出較強的魯棒性，因此廣泛的應用於視頻跟蹤的目標特徵選擇上。文獻[56]中的基於顏色直方圖跟蹤算法(Color Histogram)，採用Mean Shift算法實現對非剛性目標的魯棒跟蹤。此算法的不足表現在目標遮擋和相鄰兩幀出現較大的目標位移時，由於Mean Shift算法搜索區域侷限於局部狀態空間，此時會出現跟蹤發散。爲解決此問題，文獻[57,58]中，由Perez等人和Nummiaro等人提出將顏色特徵作爲粒子濾波觀測模型，實現了複雜環境下（目標遮擋）的可靠跟蹤。此算法不足在於，當背景出現與目標顏色分佈相似干擾物時，易造成粒子發散，因此Birchfield等人[39]提出空間-顏色直方圖跟蹤算法，充分利用像素點之間的空間關係而不侷限於顏色分佈，改善了跟蹤性能。
邊緣：雖然顏色特徵具有較好的抗目標形變的能力，但是缺乏對目標空間結構的描述，且對光照敏感。因此在光照變化頻繁的跟蹤視場下，常採用目標邊緣特徵。文獻[40-44]將邊緣信息作爲目標可分性特徵，從而實現可靠跟蹤。由於顏色與邊緣特徵具有互補特性，因此將兩種信息融合建立目標特徵模型的算法，近年來引起研究者廣泛關注[45-47]。上述基於邊緣特徵的跟蹤算法存在計算耗時較長以及形狀模型單一的問題，制約了跟蹤算法的實時性及可靠性。因此文獻[48-50]提出了基於邊緣方位直方圖特徵的跟蹤算法，此算法對光照變化不敏感且比單一輪廓邊緣特徵具有更豐富的信息。
光流特徵：光流特徵通常是採用Lucak-Kande算法計算像素點光流的幅值和方向，文獻[51]爲利用光流實現人臉跟蹤實例。由於光流法運算量較大很難滿足實時性要求，並且光流法本身對光照變化和噪聲敏感，都限制了光流法的實際應用。
小波：由於金字塔可實現在不同角度、尺度上對圖像進行描述的功能，這也是實現差分運動估計的基礎[52,53]。
局部特徵描述子：圖像的局部區域特徵具有對光照、尺度、旋轉的不變性。局部區域特徵從局部區域內提取特徵點，並以相應的描述子對其描述。文獻[54，55]分別以局部二元模式和（SIFT）特徵實現目標跟蹤。
空間與顏色融合：顏色特徵描述目標全局顏色分佈，屬於全局信息，雖然具有一定的抗目標形變能力，但由於缺乏對像素間空間結構的描述易受到背景中相似顏色分佈區域的干擾，文獻[56,57]將空間信息與顏色直方圖融合，作爲目標特徵取得了良好的跟蹤效果。
特徵基（Eigen-Basis）：將圖像信息從高維空間映射到低維空間，圖像在低維空間成爲一個流形，通過一定的幾何、統計工具可以提取和分析。PCA、LDA是圖像跟蹤領域構建子空間廣泛採用的方法。特徵跟蹤（Eigen-Tracking）方法[18,58-61]以Karhunen-Loeve構建表徵目標表觀的特徵基，再通過遞增SVD實現對特徵基的在線更新。文獻[62]以局部線性嵌入流形LLE將跟蹤問題映射到非線性低維流型空間去解決。
模式分類：利用分類器將跟蹤目標從背景中分割出來是以模式分類的方法解決視頻跟蹤問題。文獻[64,65]同時強調目標與背景的重要性，通過特徵評價算法建立對目標和背景具有良好可分性的的視覺特徵實現跟蹤。Avidan[65]以支持向量機SVM離線學習得到目標與背景特徵，稱爲支持向量機跟蹤算法（SVM-Tracking）。文獻[67]利用集成學習將弱分類器（Adaboost方法訓練得到弱分類器）組合成強分類器，由此強分類器實現對視頻幀中目標與背景分類，即像素分類置信圖（Confidence
Map），由分類置信圖的模式得到當前幀中目標位置，將輸出的目標位置反饋，訓練出新的強分類器以實現後續的分類。爲克服上述文獻中由於採用離線學習方法使得跟蹤算法不滿足實時性的問題,Grabner等人[68]提出了基於在線Adaboost訓練分類器的跟蹤算法。
2．依據目標定位所使用的方法分類：目標定位根據歷史信息推理當前幀中目標位置信息的過程。依據目標定位方法對跟蹤算法分類如下：
概率跟蹤方法：概率跟蹤方法是採用Bayesian濾波理論解決狀態估計問題在視頻跟蹤領域的應用，通過預測和修正過程採用一種遞推方式實現時變狀態的估計。表徵目標位置信息的狀態量通常由位置座標、速度、尺度以及旋轉角度構成，狀態量通過狀態轉移模型向前推進即實現狀態預測，通過最新觀測值以及觀測似然模型對狀態預測置信度進行評價，從而對預測值做出修正。在模型線性（狀態轉移模型和觀測模型）、系統噪聲和觀測噪聲服從高斯分佈時，Kalman濾波能給出Bayesian濾波最優解；對於非線性Bayesian濾波，擴展Kalman(EKF)以及無味Kalman(UKF)
[69,70]給出了次優解。隱馬爾科夫模型(HMM)[44]用於實現狀態空間有限、離散情況下的狀態估計。對於狀態模型和觀測模型均爲非線性且噪聲爲非高斯，同時狀態分佈呈多模態，利用Monte Carlo(MC)方法通過採樣估計目標狀態後驗分佈，取得了良好的效果，其中以PF爲代表的MC採樣方法成爲了研究熱點。
確定性跟蹤方法：該類算法的基本思想是由目標檢測或者手動設置方式獲取目標模板，度量目標模板與備選目標位置的相識度稱爲評價函數。跟蹤的過程，即將備選目標位置與目標模板匹配的過程。以最優化方法計算評價函數最大值，使得評價函數取得最大值時的備選目標位置判斷爲是目標在當前視頻幀中的估計位置[36,56,71]。通常選擇顏色直方圖距離作爲相識度評價函數。該類算法在一定場景下能實現快速可靠的跟蹤，但是該類算法的可靠性是建立在目標模板在跟蹤過程中不發生變化的假設之上，因此當目標表觀模型改變，跟蹤結果與實際目標位置會產生較大偏離甚至失跟。針對此問題，文獻[72]提出實時更新目標表觀直方圖的方法，提高了確定性跟蹤算法的魯棒性。由於概率跟蹤方法能夠解決複雜背景下的目標狀態估計，特別是以PF爲代表的MC積分法實現對Bayesian濾波的近似已成爲跟蹤算法的主流。由於PF以一組隨機加權樣本近似Bayesian濾波，不受模型線性高斯假設的限制，PF已成爲解決非線性非高斯模型下的狀態估計問題的有力工具[38,41,42]。
[30]B.Jung and G.S.Sukhatme.A generalized region-based approach for multi-target tracking in outdoor environments.[C]In:Proceedings of IEEE International Conference on Robotics and Automation,New
Orleans,LA,United States,2004,2004,2189-2195.
[31]B.Jung and G.S.Sukhatme.Detecting moving objects using a single camera on a mobile robot In an outdoor environment.[C]In:Proceedings of International Conference on Intelligent Autonomous Systems,2004,980–987.
[32]L.Mun Wai,I.Cohen and J.Soon Ki.Particle filter with analytical inference for human body tracking.[C]In:Proceedings of IEEE Workshop on Motion and VideoComputing,2002,159-165.
[33]H.Z.Ning,T.N.Tan,L.Wang,et al.People tracking based on motion model and motion constraints with automatic initialization.[J]Pattern Recognition,2004,37(7):1423-1440.
[34]T.Xiang and S.G.Gong.Beyond tracking:Modelling activity and understanding behaviour.[JInternational Journal of Computer Vision,2006,67(1):21-51.
[35]C.Shen.Robust visual tracking in image sequences.[D]The University of Adelaide,2005.
[36]D.Comaniciu,V.Ramesh and P.Meer.Kernel-based object tracking.[J]IEEE Transaction on Pattern Analysis and Machine Intelligence,2003,25(5):564-577.
[37]P.Perez,C.Hue,J.Vermaak,et al.Color-based probabilistic tracking.[C]In:Proceedings of 7th European Conference on Computer Vision,2002,661-675.
[38]K.Nummiaro,E.Koller-Meier and L.Van Gool.An adaptive color-based particle filter.[J]Image And Vision Computing,2003,21(1):99-110.
[39]S.T.Birchfield and S.Rangarajan.Spatiograms versus histograms for region-based tracking.[C]In:Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition,San Diego,CA,United
States,2005,2,1158-1163.
[40]N.Peterfreund.Robust tracking of position and velocity with Kalman snakes.[J]IEEE Transactions on Pattern Analysis and Machine Intelligence,1999,21(6):564-569.
[41]M.Isard and A.Blake.CONDENSATION-Conditional density propagation for visual
tracking.[J]International Journal of Computer Vision,1998,29(1):5-28.
[42]P.H.Li,T.W.Zhang and A.E.C.Pece.Visual contour tracking based on particle filters.[J]Image and Vision Computing,2003,21(1):111-123.
[43]J.Deutscher and I.Reid.Articulated body motion capture by stochastic search.[J]International Journal of Computer Vision,2005,61(2):185-205.
[44]Y.Chen,Y.Rui and T.S.Huang.JPDAF based HMM for real-time contour tracking.[C]In:Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition,Kauai,Hawaii,2001,1,543-550.
45]C.Shen,A.van den Hengel and A.Dick.Probabilistic multiple cue integration for particle filter based tracking.[C]In:International Conference on Digital Image Computing:Techniques and Applications,Sydney,2003,1,399–408.
46]A.Li,Z.Jing and S.Hu.Particle filter based visual tracking with multi-cue adaptive fusion.[J] Chinese Optics Letters,2005,3(6):326-329.
47]P.Perez,J.Vermaak and A.Blake.Data fusion for visual tracking with particles.[J]Proceedings Of the IEEE,2004,92(3):495-513.
48]E.Maggio,F.Smeraldi and A.Cavallaro.Combining colour and orientation for adaptive Particle filter-based tracking.[C]In:Proceedings of British Machine Vision Conference Oxford,UK 2005.
49]B.Han,C.Yang,R.Duraiswami,et al.Bayesian filtering and integral image for visual Tracking [C]In:Proceedings of 6th International Worshop on Image Analysis for Multimedia Interactive Services Montreux,Switzerland,2005.
50]C.Yang,R.Duraiswami and L.Davis.Fast multiple object tracking via a hierarchical particle filter.[C]In:Proceedings of IEEE International Conference on Computer Vision,Beijing,China,2005,I,212-219.
51]D.DeCarlo and D.Metaxas.Optical flow constraints on deformable models with applications To face tracking.[J]International Journal of Computer Vision,2000,38(2):99-127.
52]A.D.Jepson,D.J.Fleet and T.F.El-Maraghi.Robust online appearance models for visual tracking.[J]IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(10):1296-1311.
53]P.Viola and M.J.Jones.Robust real-time face detection.[J]International Journal of Computer Vision,2004,57(2):137-154.
54]T.Ojala,M.Pietikainen and T.Maenpaa.Multiresolution gray-scale and rotation invariant Texture classification with local binary patterns.[J]IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(7):971-987.
55]C.Wen-Yan,C.Chu-Song and H.Yi-Ping.Discriminative descriptor-based observation model For visual tracking.[C]In:Proceedings of 18th International Conference on Pattern Recognition,Hong Kong,2006,3,83-86.
56]C.Yang,R.Duraiswami and L.Davis.Efficient mean-shift tracking via a new similarity measure.[C]In:Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition,San Diego,CA,United
States,2005,I,176-183.
[57]M.S.Arulampalam,S.Maskell,N.Gordon,and T.Clapp,A tutorial on particle filters for online nonlinear/non-Gaussian Bayesian tracking[J],IEEE Proceedings on Signal Processing,vol.50,no.2:174–188,2002.
[58]Djuric,P.M,Kotecha,J.H,Jianqui Zhang,Yufei Huang,Ghirmai,T,Bugallo,M.F,Miguez, J,Particle filtering[J].IEEE Signal Processing Magazine,2003Vol.20(No.5):19-38
[59]J.S.Liu and R.Chen,Sequential Monte Carlo methods for dynamic systems[J],Journal of the American Statistical Association,vol.93,no.443:1032–1044,1998.
[60]H.Bersini and F.Varela.Hints for Adaptive Problem Solving Gleaned from Immune Network.[J]In Parallel Problem Solving from Nature,H.P.Schwefel and H.M‘hlenbein(Eds.),Publisher-Springer-Verlag,1990:343–354
[61]De Castro,L.N.&Von Zuben,F.J.(Eds.).Recent Developments in Biologically Inspired Computing[M].Idear Group Inc.2004
[62]L.Booker,S.Forrest,M.Mitchell,and R.Riolo.Perspectives on Adaptation in Natural and Artificial Systems[M].Oxford University Press.2003
[63]L.N.de Castro and J.Timmis,Artificial Immune Systems:A New Computational Intelligence Approach[M],Springer 2002
[64]De CASTROLN,Von ZUBEN F J.learning and optimization using the clonal selection principle[J].IEEE Tran on Evolutionary computation,special Issue on Artificial Immune systems,2002.6.(3):239-251.
[65]R.Douc,O.Cappe,and E.Moulines,Comparison of resampling schemes for particlefiltering[C],Proc.of Image and Signal Processing and Analysis(ISPA),Sept.2005,pp.64–69.
[66]Jeroen D.Hol,Thomas B.Sch?n and Fredrik Gustafsson,On Resampling Algorithms for Particle Filters[C].Nonlinear Statistical Signal Processing Workshop,Cambridge,United Kingdom,September 2006.
[67]葉其孝，沈永歡.實用數學手冊[M],科學出版社，2006.1.
[68]張賢達，現代信號處理[M],清華大學出版社，第二版，2002年.
[69]張賢達，時間序列分析―高階統計量方法[M]，清華大學出版社，1996
[70]V.M.Zolotarev.One-dimensional Stable Distributions.Amer.Math.Soc.Tkansl.of Math.Monographs[M],Vol.65.Amer.Math.Soc.Providence,R.I.(Transl.of the original1983 Russian).
[71]W.Feller.An Introduction to Probability Theory and its Applications[M].Vol.2,2nd edn. Wiley,New York,1971.
[72]G.Samorodnitsky and M.Taqqu.Stable Non-Gaussian Random Processes:Stochastic Models with Infinite Variance[M].Chapman and Hall,NewYork,London,1994.
[73]M.Shao,C.L.Nikias.Signal processing with fractional lower order moments:stable processes and their applications[C].Proceedings of the IEEE,July 1993,81(7):986-1010.
[74]J.M.Chambers,C.L.Mallows and B.W.Stuck,A Method for Simulating Stable Random Variables[J],JASA,1976,Vol.71,No.354:340-344
[75]Aleksander Weron and Rafal Weron,Computer Simulation of Levy alpha-Stable Variables and Processes[J],Lec.Notes in Physics,1995,457:379-392