精度、召回率、準確率、F1 score的概念及ROC曲線
這幾個概念是對應於分類問題的評價指標。
首先我們定義如下表格：
| . | Actual Positive | Actual Negative |
|---|---|---|
| Predict Positive | True Positive (TP) | False Positive (FP) |
| Predict Negative | False Negative (FN) | True Negative (TN) |
其中：
TP表示正確地把正樣本預測爲正；
FN表示錯誤地把正樣本預測爲負；
FP表示錯誤地把負樣本預測爲正；
TN表示正確地把負樣本預測爲負；
如下是幾個術語的含義：
| Name | 含義 |
|---|---|
| Accuracy | 準確率 |
| Precision | 精度 |
| Recall | 召回率 |
| F1 score | F1值 |
1.Precise:表示正確預測正樣本佔實際預測爲正樣本的比例
2.Recall:表示正確預測正樣本佔正樣本的比例
3.F1 score:是對精度和召回率的調和平均
4.Accuracy:表示預測符合標籤的樣本與總樣本的比例
5.受試者特徵曲線（ROC 曲線，Receiver Operating Characteristic curve）
此部分具體可參考此文章
ROC 曲線展示了當改變在模型中識別爲正例的閾值時，召回率和精度的關係會如何變化。如果我們有一個用來識別疾病的模型，我們的模型可能會爲每一種疾病輸出介於 0 到 1 之間的一個分數，爲了將某個病人標記爲患有某種疾病（一個正例標籤），我們爲每種疾病在這個範圍內設置一個閾值，通過改變這個閾值，我們可以嘗試實現合適的精度和召回率之間的平衡。
ROC 曲線在 Y 軸上畫出了真正例率（TPR），在 X 軸上畫出了假正例率 (FPR)。TPR 是召回率，FPR 是反例被報告爲正例的概率。這兩者都可以通過混淆矩陣計算得到。
下圖是一個典型的 ROC 曲線：
通常，當降低閾值時，會沿着曲線向右和向上移動。
我們可以通過計算曲線下面積 ( AUC ) 來量化模型的 ROC 曲線，這是一個介於 0 和 1 之間的度量，數值越大，表示分類性能越好。在上圖中，藍色曲線的 AUC 將大於紅色曲線的 AUC，這意味着藍色模型在實現準確度和召回率的權衡方面更好。隨機分類器 (黑線) 實現 0.5 的 AUC。
總結：
對於二分類問題：
真正例（TP）：實際上是正例的數據點被標記爲正例
假正例（FP）：實際上是反例的數據點被標記爲正例
真反例（TN）：實際上是反例的數據點被標記爲反例
假反例（FN）：實際上是正例的數據點被標記爲反例
召回率和精度衡量指標：
召回率（R）：分類模型識別所有相關實例的能力
精度（P）：分類模型僅僅返回相關實例的能力
F1 score：使用調和平均結合召回率和精度的指標
召回率和精度的可視化：
混淆矩陣：展示分類模型的真實和預測標籤的對應結果。
受試者特徵曲線（ROC 曲線）：畫出真正例率（TPR）和假正例率（FPR），並將此作爲模型歸類正例閾值的函數。
曲線下面積（AUC）：基於 ROC 曲線下方的面積，計算分類模型總體性能的指標。
參考文章：
https://www.jianshu.com/p/1afbda3a04ab
https://blog.csdn.net/wujunlei1595848/article/details/90739786