一、Top-1 Top-5
ImageNet 圖像分類大賽評價標準採用 top-5 錯誤率,或者top-1錯誤率,即對一張圖像預測5個類別,只要有一個和人工標註類別相同就算對,否則算錯。
top1-----就是你預測的label取最後概率向量裏面最大的那一個作爲預測結果,如過你的預測結果中概率最大的那個分類正確,則預測正確。否則預測錯誤
top5-----就是最後概率向量最大的前五名中,只要出現了正確概率即爲預測正確。否則預測錯誤
Top-1 = (正確標記 與 模型輸出的最佳標記不同的樣本數)/ 總樣本數
Top-5 = (正確標記 不在 模型輸出的前5個最佳標記中的樣本數)/ 總樣本數
二、matlab 訓練結果圖
error:爲一個batch裏所有樣本的loss
sample : 一次迭代的樣本數目
三、MAP rank recall F-score CMC
mAP和rank1 是衡量算法搜索能力的指標,mAP的全稱是mean average precision
rank1 是搜索結果中最靠前的一張圖是正確結果的概率,一般通過實驗多次來取平均值
rank-k:算法返回的排序列表中,前k位爲存在檢索目標則稱爲rank-k命中
Precision:= 提取出的正確信息條數 / 提取出的信息條數
Recall: = 提取出的正確信息條數 / 樣本中的信息條數
故,Precision高,Recall就低,Recall高,Precision就低。一般在保證召回率的條件下,儘量提升精確率
F-score:,F-score是綜合考慮Precision和Recall的調和值
mAP:以recall爲橫座標,precision爲縱座標,繪製PR曲線,曲線下方面積即爲AP,當需要檢索的不止一個人時,此時取所有人的平均mAP
Cumulative Match Characteristic (CMC) curve: 計算rank-k的擊中率,形成rank-acc的曲線,如下圖:
四、例題
目標是識別 lable爲m1,在100個樣本中搜索
如果識別結果是m1、m2、m3、m4、m5……
則rank-1的正確率爲100%;rank-2的正確率也爲100%;rank-5的正確率也爲100%
如果識別結果是m2、m1、m3、m4、m5……
則rank-1的正確率爲0%;rank-2的正確率爲100%;rank-5的正確率也爲100%
如果識別結果是m2、m3、m4、m5、m1……
則此時rank-1的正確率爲0%;rank-2的正確率爲0%;rank-5的正確率爲100%
待識別的有3個,1號(m1)、2號(m2) 、3號(m3),目的是識別 label爲m1,m2,m3,在100個樣本中搜索
如果1號識別結果是m1、m2、m3、m4、m5……
如果2號識別結果是m2、m1、m3、m4、m5……
如果3號識別結果是m3、m1、m2、m4、m5……
則rank-1的正確率爲(1+1+1)/3=100%;rank-2的正確率也爲(1+1+1)/3=100%;rank-5的正確率也爲(1+1+1)/3=100%
rank-1 = (1號第一個位置的識別結果是否爲m1,2號第一個位置的識別結果是否爲m2....) / 待識別的label個數 = (有,有,有) / 3 = (1+1+1) / 3
如果1號識別結果是m4、m2、m3、m5、m6……
如果2號識別結果是m1、m2、m3、m4、m5……
如果3號識別結果是m3、m1、m2、m4、m5……
則rank-1的正確率爲(0+0+1)/3=33.33%;rank-2的正確率爲(0+1+1)/3=66.66%;rank-5的正確率也爲(0+1+1)/3=66.66%
rank-2= (1號前2個位置的識別結果是否有m1,2號結果的前2個位置是否有m2....) / 待識別的label個數 = (沒有,有,有) / 3 =(0 + 1 + 1)/ 3