otb系列 官方下載鏈接：http://cvlab.hanyang.ac.kr/tracker_benchmark/datasets.html
其中分爲otb50和otb100[1]
以otb50舉例，圖片來自官網：
其中每類圖下面類似於SV是其中每個視頻序列存在的挑戰性，具體爲：
IV: 光照變化——目標區域的光照發生了顯著變化。
SV: 比例變化——第一幀和當前幀的邊框比例超出ts範圍，ts > 1 (ts=2)。
OCC: 遮擋-目標部分或全部被遮擋。
DEF: 變形-非剛性物體的變形。
MB: 運動模糊-目標區域由於目標或相機的運動而模糊。
FM: 快速運動-地面真實的運動大於tm像素(tm=20)。
IPR: 平面內旋轉-目標在圖像平面內旋轉。
OPR: 面外旋轉-目標旋轉出圖像平面。
OV: 目標的一部分離開視圖。
BC: 背景雜波——目標附近的背景具有與目標相似的顏色或紋理。
LR: 低分辨率-地面真實邊界框內的像素數小於tr (tr =400)。
我們常說的還有OTB2013和OTB2015，時間是根據發表benchmark的時間來的[2]。
OTB2013：其視頻序列爲對應作者在CVPR2013發表文章Wu Y, Lim J, Yang M H. Online object tracking: A benchmark [C]// CVPR, 2013.中的51個視頻序列
所以OTB50跟OTB2013略有出入。
視頻序列名稱爲：
Ironman Matrix MotorRolling Soccer Skiing Freeman4 Freeman1 Skating1 Tiger2 Liquor Coke Football Fleetface Couple Tiger1 Woman Bolt Freeman3 Basketball Lemming Singer2 Subway CarScale David3 Shaking Sylvester Girl Jumping Trellis David Boy Deer Faceocc2 Dudek Football1 Suv Jogging_1 Jogging_2 MountainBike Crossing Singer1 Dog1 Walking Walking2 Doll Car4 David2 CarDark Mhyang Faceocc1 Fish
OTB2015：OTB100與OTB2015相同， 其對應視頻序列爲作者發表文章Wu Y, Lim J, Yang M H. Object tracking benchmark [J]. TPAMI, 2015.中的100個視頻序列。其中Skating、Jogging因標註對象不同，分別看作兩個視頻序列。
視頻序列名稱爲：
Basketball Biker Bird1 Bird2 BlurBody BlurCar1 BlurCar2 BlurCar3 BlurCar4 BlurFace BlurOwl Board Bolt Bolt2 Box Boy Car1 Car2 Car24 Car4 CarDark CarScale ClifBar Coke Couple Coupon Crossing Crowds Dancer Dancer2 David David2 David3 Deer Diving Dog Dog1 Doll DragonBaby Dudek FaceOcc1 FaceOcc2 Fish FleetFace Football Football1 Freeman1 Freeman3 Freeman4 Girl Girl2 Gym Human2 Human3 Human4 Human5 Human6 Human7 Human8 Human9 Ironman Jogging_1 Jogging_2 Jump Jumping KiteSurf Lemming Liquor Man Matrix Mhyang MotorRolling MountainBike Panda RedTeam Rubik Shaking Singer1 Singer2 Skater Skater2 Skating1 Skating2_1 Skating2_2 Skiing Soccer Subway Surfer Suv Sylvester Tiger1 Tiger2 Toy Trans Trellis Twinnings Vase Walking Walking2 Woman
OTB評價指標：[3]
主要使用兩類評價指標，一類是平均像素誤差Average Pixel Error（APE），二類是平均重疊率Average Overlap Rate（AOR）
平均像素誤差：顧名思義，平均像素誤差就是根據預測目標中心位置與真實位置的像素距離作爲誤差值，該值越大，說明誤差越大。最終結果取幀平均。
平均重疊率：平均重疊率O是以面積來衡量的 算交併比。
像素誤差和重疊率都可以做成成功率圖（Success Plot）
VOT數據集官方下載鏈接[4]：http://www.votchallenge.net/howto/
VOT2013提出了六種視覺屬性[5]：
相機移動（camera motion，即抖動模糊）
光照變化（illumination change）
目標尺寸變化（object size change）
目標動作變化（object motion change，和相機抖動表現形式類似，都是模糊）
未退化（non-degraded）。
評價系統：在VOT提出之前，比較流行的評價系統是讓tracker在序列的第一幀進行初始化，之後讓tracker一直跑到最後一幀。然而tracker可能會因爲其中一兩個因素導致其在開始的某些幀就跟丟（fail），所以最終評價系統只利用了序列的很小一部分，造成浪費。而VOT提出，評價系統應該在tracker跟丟的時候檢測到錯誤（failure），並在failure發生的5幀之後對tracker重新初始化（reinitialize），這樣可以充分利用數據集。之所以是5幀而不是立即初始化，是因爲failure之後立即初始化很可能再次跟蹤失敗，又因爲視頻中的遮擋一般不會超過5幀，所以會有這樣的設定。
這是VOT的一個特色機制，即重啓（reset/reinitialize）。但重啓之後的一部分幀是不能用於評價的，這些幀被稱作burn-in period，大量實驗結果表明，burn-in period大約爲初始化之後（包括第一幀的初始化和所有重啓）的10幀。
VOT最重要的兩個評價指標：Accuracy和Robustness
排名機制：
將tracker在不同屬性序列上的表現按照accuracy（A）和robustness（R）分別進行排名，再進行平均，得到該tracker的綜合排名，依據這個綜合排名的數字大小對tracker進行排序得出最後排名。這個排名叫做AR rank。
具體操作爲：首先讓tracker在同一屬性的序列下測試，對得到的數據（average accuracy/average robustness）進行加權平均，每個數據的權重爲對應序列的長度，由此得到單個tracker在該屬性序列上的數據，然後對不同tracker在該屬性序列下進行排名。得到單個tracker在所有屬性序列下的排名後，求其平均數（不加權）得到AR rank。
評價tracker跟蹤速度的指標——EFO Equivalent Filter Operations
EFO是用來衡量速度的指標，以往我們談速度，都需要談硬件，再說fps，但是通過EFO指標可以減少硬件差異帶來的影響。
首先測試該機器在600×600圖像上，對每個像素進行30×30濾波的時間。
然後將跟蹤算法耗時除以該機器上進行以上濾波操作的時間，這樣得到的值就是EFO值，最大程度的減少了硬件的影響。
EAO：Expect Average Overlaprate
即精度的衡量方式是平均重疊率
魯棒性使用跟蹤算法跟丟目標的次數來衡量
VOT2015提出，基於AR rank的評價方式沒有充分利用accuracy和robustness的原始數據（raw data），所以創造了一個新的評價指標——EAO(Expected Average Overlap)。正如字面意思，這個評價指標只針對基於overlap定義的accuracy。
通過一種方式，在一張圖中同時反映精度和魯棒性，這就是EOA圖
在這裏插入圖片描述
參考博客：
[1] http://cvlab.hanyang.ac.kr/tracker_benchmark/datasets.html
[2] https://blog.csdn.net/qq_22763299/article/details/89883862
[3] https://blog.csdn.net/weixin_36761349/article/details/90370537
[4] http://www.votchallenge.net/howto/
[5] https://blog.csdn.net/Dr_destiny/article/details/80108255
