Cumulative Matching Characteristics (CMC) curves 是目前行人重識別領域最流行的性能評估方法。考慮一個簡單的 single-gallery-shot 情形，每個gallery identity只有一個instance. 對於每一次的query, 算法將根據 query 到所有gallery samples的距離從小到大排序，CMC top-k accuracy 計算如下：
Acc_k = 1, if top-k ranked gallery samples contain query identity
Acc_k = 0, otherwise
儘管在 single-gallery-shot 情形下，CMC 有很明確的定義，但是在 multi-gallery-shot 情形下，它的定義並不明確，因爲每個gallery identity 可能存在多個instances. 例如, CUHK-03 和 Market-1501 數據集計算 CMC curves 和 CMC top-k accuracy 的方法很不同：
CUHK03: 這個數據集中，query 和 gallery 集來自不同的攝像頭視角。對於每個query, 隨機地從每個 gallery identity 中採樣一個instance, 然後以 single-gallery-shot 的方式計算 CMC curve. 隨機採樣重複N次，最終輸出CMC curve.
Market-1501: Query 和 gallery 集可能來自相同的攝像頭視角，但是對於每個query identity, 他/她的來自同一個攝像頭的 gallery samples 會被排除掉。對於每個 gallery identity，他們不會只隨機採樣一個instance. 這意味着在計算CMC時， query 將總是匹配 gallery 中“最簡單”的正樣本，而不關注其他更難識別的正樣本。
由上面可以看出，在 multi-gallery-shot 情形下，CMC評估具有缺陷。因此，也使用 mAP（mean average precsion）作爲評估指標。mAP可認爲是PR曲線下的面積，即平均的查準率。
參考自open-reid文檔：
https://cysu.github.io/open-reid/notes/evaluation_metrics.html