簡介:
MOTChallenge是多目標跟蹤領域最爲常用的benchmark,其中2D MOT15,3D MOT15,MOT16,MOT17,MOT20都是多目標跟蹤領域常用的數據集。
下面我們按照MOTChallenge中的評價標準進行介紹,當然MOTChallenge也主要參考《Evaluating Multiple Object Tracking Performance: The CLEAR MOT Metrics》
評價指標:
總結
CLEAR MOT Metrics認爲一個好的多目標跟蹤器應該有如下三點特性:
1.所有出現的目標都要能夠及時找到(檢測的性能)
2.找到目標位置要儘可能可真實目標位置一致(檢測的性能)
3.保持追蹤一致性,避免跟蹤目標的跳變 (匹配的性能)
所以可以看出,多目標跟蹤和目標檢測是密不可分的,檢測的性能不可避免的會對跟蹤的性能造成影響。
MOTChallenge的評價指標一共有十一個,分別是
Measure | Better | Perfect | Description |
---|---|---|---|
MOTA | higher | 100% | 跟蹤的準確度,和出現FN,FP,IDs的數量負相關,可能出現負值。 |
MOTP | higher | 100% | 跟蹤的精度,GT和檢測的bbox的匹配交疊 |
IDF1 | higher | 100% | 正確的檢測數量和GT的數量的比值 |
FAF | lower | 0 | 每幀的平均誤報警數 |
MT | higher | 100% | 命中的軌跡佔總軌跡的佔比,定義命中的軌跡爲長度小於ground truth 80%的軌跡 |
ML | lower | 0 | 丟失的軌跡佔總軌跡的佔比,定義丟失軌跡爲長度小於ground truth 20%的軌跡 |
FP | lower | 0 | FP的總數量,false positives也就是誤檢 |
FN | lower | 0 | FN的總數量,false negatives也就是漏檢 |
IDs | lower | 0 | ID改變的總數量 |
Frag | lower | 0 | 軌跡被打斷的總數量 |
Hz | higher | Inf | 處理速度,不包括檢測器的耗時,而且這個指標由作者提供,MOTChallenge是計算不出來的,因爲遞交的是offline文件。 |
MOTA
其中,FN爲False Negative,FP爲False Positive,IDSW爲ID Switch,GT爲Ground Truth 物體的數量。MOTA考慮了tracking中所有幀中對象匹配錯誤,主要是FN,FP,ID Switch。MOTA給出了一個非常直觀的衡量跟蹤器在檢測物體和保持軌跡時的性能,與物體位置的估計精度無關。MOTA取值應小於100,當跟蹤器產生的錯誤超過了場景中的物體,MOTA會爲負數。需要注意的是,此處的MOTA以及MOTP是計算所有幀的相關指標再進行平均(既加權平均值),而不是計算每幀的rate然後進行rate的平均。
MOTP
其中,d爲檢測目標i和給它分配的ground truth之間在所有幀中的平均度量距離,在這裏是使用bounding box的overlap rate來進行度量(在這裏MOTP是越大越好,但對於使用歐氏距離進行度量的就是MOTP越小越好,這主要取決於度量距離d的定義方式);而c爲在當前幀匹配成功的數目。MOTP主要量化檢測器的定位精度,幾乎不包含與跟蹤器實際性能相關的信息。
FN&FP&IDs&Frag
假設GT只有一條,用虛線表示,也就是說在GT中由6幀圖像,並只有一個track id。下面由a,b,c,d四張圖,涵蓋了FN,FP,IDs和Frag的情況。
在圖a中,GT被預測爲紅藍兩條,紅色軌跡F1時並沒有匹配上GT,所以GT實際上是一個FN,也就是實際爲目標,但是被遺漏了。同理紅色軌跡的F1結果,也就是一個FP,因爲實際上是一個不存在的東西被判定成了目標。
同理,藍色軌跡F3,F4也是FP,又因爲GT由4到5時,id從紅色變成藍色,所以存在IDs。
在圖b中,還是同樣的GT,這次紅藍兩條軌跡沒有交疊,在F3的地方GT斷開了,所以存在一次Frag。