性能評估指標(Precision, Recall, Accuracy, F1-measure)

一個例子

首先我們看下面的一個表格,也是經典的二分類問題,常常會看見的表格:

在這裏插入圖片描述

如上表所示,行表示預測的label值,列表示真實label值。TP,FP,FN,TN分別表示如下意思:

  • TP(true positive):表示樣本的真實類別爲正,最後預測得到的結果也爲正;
  • FP(false positive):表示樣本的真實類別爲負,最後預測得到的結果卻爲正;
  • FN(false negative):表示樣本的真實類別爲正,最後預測得到的結果卻爲負;
  • TN(true negative):表示樣本的真實類別爲負,最後預測得到的結果也爲負.

我平時用到的最多的兩個指標就是precision 和 recall, 翻譯過來就是精準率和召回率, 以及F1 值 F1 只是 F-measure 中特殊的一種情況


Precision 精準率

precision 表示的是被識別爲正類別的樣本中,確實爲正類別的比例是多少?

Precision=TPTP+FPPrecision = \frac{TP}{TP + FP}

當我們有ground truth 的時候,舉個例子,我的GT不是二分類問題,GT指出了所有的正樣本,這個時候我們要計算

  • TP 就是 ground truth 和測試結果取得交集
  • FP 就是我們的實際測出來的結果減去我們的TP就是我們的false positive
  • FN 就是我們的ground truth 的結果減去我們的測試

召回率

在所有的正類別樣本中,被正確識別到的比例是多少?

Recall=TPTP+FNRecall = \frac{TP}{TP+FN}

要全面評估模型的有效性,必須同時檢查精確率和召回率。遺憾的是,精確率和召回率往往是此消彼長的情況。也就是說,提高精確率通常會降低召回率值,反之亦然。


其他

Accuracy=TP+TNTP+FP+TN+FNAccuracy = \frac{TP+TN}{TP + FP + TN + FN}

F1score=2×recall×precisionrecall+precisionF1-score = \frac{2 \times recall \times precision}{recall + precision}

F1-score表示的是precision和recall的調和平均評估指標。

Reference

https://www.csuldw.com/2016/03/12/2016-03-12-performance-evaluation/

https://developers.google.com/machine-learning/crash-course/classification/precision-and-recall?hl=zh-CN

發佈了277 篇原創文章 · 獲贊 568 · 訪問量 136萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章