Tracking數據集及評價指標

一、單目標跟蹤數據集

目前比較常用的單目標跟蹤數據集有OTB和VOT。

1、OTB數據集(Object Tracking Benchmark)
1)簡介

用的最廣泛的是OTB-50和OTB-100,裏面涉及到灰度圖像和彩色圖像,也涉及到目標跟蹤的11個屬性,包括光照變化、尺度變化、遮擋、形變、運動模糊、快速運動、平面內旋轉、平面外旋轉、出視野、背景干擾、低像素。
每個圖像序列都對應着兩個或多個屬性,每個序列都對應着一個txt文件,記錄着人工標註的目標中心位置和目標的大小。
2)評價指標
兩個衡量目標跟蹤精準度的基本參數是Precision Plot和Success Plot
precesion plot(精度測算)主要指的是預測位置中心點與benchmark中標註的中心位置間的歐式距離,是以像素爲單位進行的計算。
success plot(成功率測算)主要指的是預測目標所在benchmark的重合程度。

2、VOT數據集(Visual Object Tracking)
1)簡介

VOT數據集是基於每年一次的VOT比賽的,每年都會有新的數據集產生,當然其中一部分圖像序列是和OTB重合的,但是總的來說VOT數據集略難於OTB數據集,一般在這兩個數據集上跑的效果都好,纔算真的好,如果只在一個數據集上效果好,那隻能說明這個算法的泛化能力還不夠。
2)評價指標
VOT最終選取了精度和魯棒性兩個指標,因爲在圖像跟蹤的若干(16個)評價標準中,這二者的相關性最弱。
VOT中使用的評價標準(EAO和EFO)
EAO(Expect Average Overlap Rate),用於評價性能。VOT中的使用標準A_R圖
A:重疊率,就是跟蹤成功狀態下的平均重疊率。
R:魯棒性,魯棒性數值是失敗總次數。
在這裏插入圖片描述
EFO(Equivalent Filter Operations),用於評價速度。
因爲性能的比較常常因爲計算機性能不同而不夠直觀,EFO評價標準考慮到了這一點,使用600×600的圖像,做30*30窗口的濾波,來得到機器的性能。然後使用跟蹤算法處理每幀圖像的評價時間除以以上濾波操作的時間,得到了一個歸一化的性能參數,就是EFO,是VOT14提出的標準,一直沿用到現在。

二、多目標跟蹤數據集
PETS2009 : An old dataset.
KITTI-Tracking : Multi-person or multi-car tracking dataset.
MOT dataset : A dataset for multi-person detection and tracking, mostly used.
UA-DETRAC : A dataset for multi-car detection and tracking.
AVSS2018 Challenge : AVSS2018 Challenge based on UA-DETRAC is opened!
DukeMTMC : A dataset for multi-camera multi-person tracking.
PoseTrack: A dataset for multi-person pose tracking.
NVIDIA AI CITY Challenge: Challenges including “Traffic Flow Analysis”, “Anomaly Detection” and “Multi-sensor Vehicle Detection and Reidentification”, you may find some insteresting codes on their Github repos
Vis Drone: Tracking videos captured by drone-mounted cameras.
JTA Dataset: A huge dataset for pedestrian pose estimation and tracking in urban scenarios created by exploiting the highly photorealistic video game Grand Theft Auto V developed by Rockstar North.
Baidu Trajectory Interesting dataset for trajectory prediction for Autonomous drive, wait to be opened.
Path Track A new dataset with many scenes.
Recall(↑):正確匹配的檢測目標數/ground truth給出的目標數
Precision(↑):正確匹配的檢測目標數/檢測出的目標數
MT(↑):目標的大部分被跟蹤到的軌跡佔比(大於百分之八十)
ML(↓):目標的大部分跟丟的軌跡佔比(小於百分之二十)
PT(↓):目標部分跟蹤到的軌跡佔比(1 - MT – ML)
FM(↓):真實軌跡被打斷的次數
IDS(↓):一條跟蹤軌跡改變目標標號的次數
MOTA(↑):結合了丟失目標,虛警率,標號轉換之後的準確性
MOTP(↑)::所有跟蹤目標的平均邊框重疊率

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章