訓練神經網絡中的基本概念之訓練結果圖分析---Top mAP rank Precision等

一、Top-1 Top-5

ImageNet 圖像分類大賽評價標準採用 top-5 錯誤率,或者top-1錯誤率,即對一張圖像預測5個類別,只要有一個和人工標註類別相同就算對,否則算錯。

top1-----就是你預測的label取最後概率向量裏面最大的那一個作爲預測結果,如過你的預測結果中概率最大的那個分類正確,則預測正確。否則預測錯誤

top5-----就是最後概率向量最大的前五名中,只要出現了正確概率即爲預測正確。否則預測錯誤

Top-1 = (正確標記 與 模型輸出的最佳標記不同的樣本數)/ 總樣本數
Top-5 = (正確標記 不在 模型輸出的前5個最佳標記中的樣本數)/ 總樣本數



二、matlab 訓練結果圖

obj=\sum error/ \sum sample

error:爲一個batch裏所有樣本的loss

sample : 一次迭代的樣本數目

 



三、MAP rank recall  F-score CMC

mAP和rank1 是衡量算法搜索能力的指標,mAP的全稱是mean average precision

rank1 是搜索結果中最靠前的一張圖是正確結果的概率,一般通過實驗多次來取平均值

rank-k:算法返回的排序列表中,前k位爲存在檢索目標則稱爲rank-k命中

Precision:= 提取出的正確信息條數 / 提取出的信息條數 

Recall: = 提取出的正確信息條數 / 樣本中的信息條數

 故,Precision高,Recall就低,Recall高,Precision就低。一般在保證召回率的條件下,儘量提升精確率

F-score:,F-score是綜合考慮Precision和Recall的調和值

 mAP:以recall爲橫座標,precision爲縱座標,繪製PR曲線,曲線下方面積即爲AP,當需要檢索的不止一個人時,此時取所有人的平均mAP
 

Cumulative Match Characteristic (CMC) curve: 計算rank-k的擊中率,形成rank-acc的曲線,如下圖:



四、例題

目標是識別 lable爲m1,在100個樣本中搜索

如果識別結果是m1、m2、m3、m4、m5……

則rank-1的正確率爲100%;rank-2的正確率也爲100%;rank-5的正確率也爲100%

如果識別結果是m2、m1、m3、m4、m5……

則rank-1的正確率爲0%;rank-2的正確率爲100%;rank-5的正確率也爲100%

如果識別結果是m2、m3、m4、m5、m1……

則此時rank-1的正確率爲0%;rank-2的正確率爲0%;rank-5的正確率爲100%

 

待識別的有3個,1號(m1)、2號(m2) 、3號(m3),目的是識別 label爲m1,m2,m3,在100個樣本中搜索

如果1號識別結果是m1、m2、m3、m4、m5……

如果2號識別結果是m2、m1、m3、m4、m5……

如果3號識別結果是m3、m1、m2、m4、m5……

則rank-1的正確率爲(1+1+1)/3=100%;rank-2的正確率也爲(1+1+1)/3=100%;rank-5的正確率也爲(1+1+1)/3=100%

rank-1 = (1號第一個位置的識別結果是否爲m1,2號第一個位置的識別結果是否爲m2....) / 待識別的label個數 = (有,有,有) / 3 = (1+1+1) / 3

 

如果1號識別結果是m4、m2、m3、m5、m6……

如果2號識別結果是m1、m2、m3、m4、m5……

如果3號識別結果是m3、m1、m2、m4、m5……

則rank-1的正確率爲(0+0+1)/3=33.33%;rank-2的正確率爲(0+1+1)/3=66.66%;rank-5的正確率也爲(0+1+1)/3=66.66%

rank-2= (1號前2個位置的識別結果是否有m1,2號結果的前2個位置是否有m2....) / 待識別的label個數 = (沒有,有,有) / 3 =(0 + 1 + 1)/ 3

 

 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章