評估指標 -- Precision(查準率), Recall(查全率)和F1 score; PR曲線和mAP; ROC曲線和AUC

Precision, Recall 和 F1 score

Precision – 查準率、精確率
Recall – 查全率、召回率

查準率和查全率是互相影響的，理想情況是希望兩者都高，但是一般情況下查準率高、查全率就低，查全率高、查準率就低.
如果是做搜索，那就是保證查全的情況下提升查準率；如果做疾病監測、反垃圾，則是保證查準的條件下，提升查全率。

爲了衡量在某一閾值下P和R的綜合結果, 採用指標F1 score:
$F1 = \frac{2*P*R}{P+R}$

PR曲線與mAP(mean average precision)

1. 知乎上關於mAP的解釋: mean average precision（MAP）在計算機視覺中是如何計算和應用的？
2. PR曲線, mAP具體計算過程: 深度學習-目標檢測評估指標P-R曲線、AP、mAP
   
3. 總結: mAP是爲解決P，R，F1 score的單點值侷限性的。爲了得到一個能夠反映全局性能的指標.

因爲P, R和F1 score都只能衡量模型在一個固定閾值下的性能, 但一般情況，不同閾值下, 模型會有不同的表現, 把不同閾值下的P, R記錄下來, 可以得到一條PR曲線:

可以看到, 只看F1 score的話, 一開始紅色模型不如黑色模型, 但是全局來看, 紅色模型的性能比黑色模型要出色.

PR曲線下的面積, 叫做AP(average precision), N個分類類別得到N條PR曲線得到N個AP, 求平均得到mAP(mean average precision).

具體計算過程: (目標檢測爲例)

1. 先把所有bbox找出來 並加上confidence
2. 然後每一類根據confidence從大到小排列
3. 每一類中每個confidence計算與label對應的IOU, 根據設定的IOU閾值判斷是否預測正確
4. 每一類中每個confidence根據預測正誤算出其recall和precision得到每一類的PR曲線, 曲線下的面積爲對應該類的average precision
5. 所有類取mean, 得到對應IOU閾值下的mean average precision, 如mAP50, mAP75等等(YOLO論文中叫AP50, AP75).

ROC曲線和AUC

1. 對ROC曲線的理解: ROC和CMC曲線的理解
2. ROC曲線和PR曲線的區別與聯繫: 檢測率，召回率，mAP，ROC
3. 總結: PR曲線是表現查準率與查全率的變化關係, 適用於檢索問題; ROC曲線是表現模型的預測結果中正誤的變化關係, 適用於分類問題.
   
   縱軸：真正類率(true postive rate TPR)靈敏度，代表分類器預測的正類中實際正實例佔所有正實例的比例, TRP的值越大，說明預測的正類中實際的正類越多$TPR = \frac{TP}{TP + FN}$橫軸：負正類率(false postive rate FPR)特異度，代表分類器預測的正類中實際負實例佔所有負實例的比例, FPR的值越大，說明預測的正類中實際的負類越多$FPR = \frac{FP}{FP + TN}$

ROC曲線的意義:
對模型的預測結果score排序, 然後將預測爲正負類的閾值從最大的score開始逐漸減小. 當閾值最大時, TP的數量最少, TPR接近0, 並且此時FP也最少, FPR也接近0. 閾值最大時, 對應座標爲(0, 0).
隨着閾值的減小，越來越多的實例被劃分爲正類，即TP的數量越來越多，FN的數量越來越少，通過計算公式TP/(TP+FN)可以看到，TPR的值趨近於1；同時，當越來越多的實例被劃分爲正類時，這些正類當中也同樣摻雜着真正的負實例，並且隨着閾值的減少，TN的數量越來越少，通過計算公式FP/(FP+TN)可以看到，FPR的值趨近於1。因此，閾值最小時，對應座標爲（1，1）.

理想目標：TPR=1，FPR=0,即圖中(0,1)點，故ROC曲線越靠攏(0,1)點，越偏離45度對角線越好.

AUC: ROC曲線下的面積, 取值範圍在0.5和1之間. 意義是量化比較不同的ROC曲線.

ROC曲線的特性: 當測試集中的正負樣本的分佈變換的時候(分佈不平衡)，ROC曲線能夠保持不變.(PR曲線會發生較大變化)