分類模型評價指標和方法

分類模型評價指標和方法

基本概念

• True negative(TN)，稱爲真反例，實際是負樣本預測成負樣本的樣本數
• False positive(FP)，稱爲假正例，實際是負樣本預測成正樣本的樣本數
• False negative(FN)，稱爲假反例，實際是正樣本預測成負樣本的樣本數
• True positive(TP)，稱爲真反例，實際是正樣本預測成正樣本的樣本數

T和F表示預測是否正確，P和N表示預測結果是正例還是反例

混淆矩陣

真實情況（斜體）	正例	反例
正例	TP	FN
反例	FP	TN

常見指標

• 準確率
  預測正確的比例$\ accuracy=\frac{(TP+TN)}{TP+FP+TN+FN}$

• 查準率
  模型預測爲正類的樣本中，真正爲正類的樣本所佔的比例$\ precision=\frac{TP}{TP+FP}$

• 召回率（查全率）
  模型正確預測爲正類的樣本的數量，佔總的正類樣本數量的比值$recall=\frac{TP}{TP+FN}$

• P-R曲線
  查準率和查全率是一對矛盾的度量，一般來說，查準率高時，查全率往往偏低，查全率高時，查準率往往偏低。查準率-查全率曲線：precision爲縱軸，recall爲橫軸。P-R曲線見下：

如果一個模型的P-R曲線完全包住另一個學習器的P-R曲線，則前一個模型一定更優。如圖中的模型A包住了模型C，故模型A優於模型C；B也包住了C，模型B也優於模型C。模型A和模型B有交叉重疊的部分，我們需要比較曲線下方的面積大小，但曲線下方的面積並不容易直接比較。故引入平衡點或者是F1值進行比較。 - 平衡點 平衡點(BEP)是查準率等於查全率時的取值，如果這個值較大，則說明學習器的性能較好。如上圖，模型A的平衡點值大於模型B，故模型A優於模型B。

• $F_{1}$-Score

  • $F_{1}= \frac{2 * P * R }{P + R }$，同樣，F1值越大，我們可以認爲該學習器的性能較好。
  • $F_1$其實是查準率和查全率的調和平均,即認爲$F_1$中的"1"表示的意義就是查準率和查全率的重要性相同。
    $\frac{1}{F_1} = \frac{1}{2}(\frac{1}{P}+\frac{1}{R})$

• $F_{\beta}-score$

  • $F_{\beta}$是查準率和查全率的加權調和平均。當$0<\beta<1$時,查準率precision影響較大(如用戶推薦時,爲了儘可能少的打擾用戶希望推薦的裏面儘可能是用戶喜歡的,此時precision較爲重要);當$\beta>1$時,查全率recall影響更大(如當檢索罪犯信息時,希望所有罪犯均能夠被識別出來,此時recall較爲重要);當$\beta=1$時,查準率和查全率一樣重要即$F_1$。
    $\frac{1}{F_{\beta}} = \frac{1}{1+\beta^2}(\frac{1}{P}+\frac{\beta^2}{R}) \\ \\ F_{\beta} = \frac{(1+\beta^2)P*R}{(\beta^2*P)*R}$

  • 調和平均與算數平均以及幾何平均相比,更重視較小的值。

ROC曲線

ROC曲線即受試者工作特徵曲線 (receiver operating characteristic curve),又稱爲感受性曲線(sensitivity curve)。橫座標爲假正例率(FPR)，縱座標爲真正例率(TPR)。橫座標$FPR=\frac{FP}{FP+TN}$，縱座標$TPR=\frac{TP}{TP+FN}$。由公式可以看到橫縱座標都在[0,1]之間，所以ROC曲線的面積小於等於1。

• ROC曲線的性質
  • (0,0)：假正例率和真正例率都爲0，TP=FP=0，即全部預測成負樣本
  • (0,1)：假正例率爲0，FP=0，真正例率爲1，FN=0，全部完美預測正確
  • (1,0)：假正例率爲1，TN=0，真正例率爲0，TP=0，全部完美預測錯誤
  • (1,1)：假正例率和真正例率都爲1，FN=TN=0，即全部預測成正樣本
  • TPR＝FPR，斜對角線，預測爲正樣本的結果一半是對的，一半是錯的，代表隨機分類器的預測效果

ROC曲線在斜對角線以下，則表示該分類器效果差於隨機分類器，反之，效果好於隨機分類器。期望是ROC曲線儘量位於斜對角線以上，也就是向左上角（0,1）凸，因爲(0，1)爲完美預測。

• ROC曲線見下圖，當一個模型的ROC曲線完全包裹另一個模型的ROC時，前一個模型更優。如下左圖中，A包裹B，B包裹C，則模型A優於模型B，模型B優於模型C。但是對於右圖中的兩個模型則無法直觀的比較哪個更優，故引入AUC曲線。

• ROC曲線和PC曲線的區別，ROC更適合用來判斷分類效果。因爲不會隨着正負樣本分佈變化發生劇烈變化，但是PC曲線可能會隨着樣本分佈發生劇烈變化。作圖是ROC曲線，右圖是PC曲線，右圖的數據是將作圖數據裏的負樣本增加了10倍，可以看到ROC沒有發生劇烈變化，但是PC曲線發生了較大的變化。
  

AUC曲線

AUC(Area Under Curve)實際上就是ROC曲線下的面積， AUC直觀地反映了ROC曲線表達的分類能力。

• AUC ＝ 1，代表完美分類器
• 0.5 < AUC < 1，優於隨機分類器
• 0 < AUC < 0.5，差於隨機分類器