一個例子
首先我們看下面的一個表格,也是經典的二分類問題,常常會看見的表格:
如上表所示,行表示預測的label值,列表示真實label值。TP,FP,FN,TN分別表示如下意思:
- TP(true positive):表示樣本的真實類別爲正,最後預測得到的結果也爲正;
- FP(false positive):表示樣本的真實類別爲負,最後預測得到的結果卻爲正;
- FN(false negative):表示樣本的真實類別爲正,最後預測得到的結果卻爲負;
- TN(true negative):表示樣本的真實類別爲負,最後預測得到的結果也爲負.
我平時用到的最多的兩個指標就是precision 和 recall, 翻譯過來就是精準率和召回率, 以及F1 值 F1 只是 F-measure 中特殊的一種情況
Precision 精準率
precision 表示的是被識別爲正類別的樣本中,確實爲正類別的比例是多少?
當我們有ground truth 的時候,舉個例子,我的GT不是二分類問題,GT指出了所有的正樣本,這個時候我們要計算
- TP 就是 ground truth 和測試結果取得交集
- FP 就是我們的實際測出來的結果減去我們的TP就是我們的false positive
- FN 就是我們的ground truth 的結果減去我們的測試
召回率
在所有的正類別樣本中,被正確識別到的比例是多少?
要全面評估模型的有效性,必須同時檢查精確率和召回率。遺憾的是,精確率和召回率往往是此消彼長的情況。也就是說,提高精確率通常會降低召回率值,反之亦然。
其他
F1-score表示的是precision和recall的調和平均評估指標。
Reference
https://www.csuldw.com/2016/03/12/2016-03-12-performance-evaluation/